公元664年正月至公元665年12月，即唐高宗麟德年间，李义琰升为白水县令，因为多有政绩，有“能吏”之名，朝廷于是提拔为司刑员外郎。
李义琰是唐代魏州昌乐人，就是现在的河北大名。他的先辈是陇西的名门望族。622年唐代首届科举考试科考，他位列第三，是古代科举史上第一位探花。中进士后，任太原尉。
当时的太原都督叫李勣，他手下属僚官吏都惧怕他的威势，唯命是听，不敢多言半句。而李义琰认为，做人应该真诚，对上对下都应该仗义执言，因而常常当庭与他争辩是非曲直。李勣反而对他的正直敢言的气节很是赞赏。
李义琰博学多识。唐高宗每有事要征求意见，李义琰都畅所欲言，所言有智谋有见识，常常切中要害。循例升为中书郎，后来晋升为同中书门下三品，兼任太子右庶子。
唐高宗第六子李贤，在胞兄李弘去世后继立为皇太子。李贤不仅容止端雅，而且才思敏捷，但自立储君后与母后关系紧张，后来以谋逆罪被废为庶人，流放巴州，再后被逼自尽，谥以“章怀”。那些怀恨李贤的人手舞足蹈，弹冠相庆，然而但李义琰却不以为然。
李义琰认为，自己身兼太子右庶子，属于太子宫官，有教导太子之责。对于李贤之死，他独自把过失归于自己，常常难过得暗自落泪。
王公大臣们见李义琰总是为这件事自责、难过，都说他心地善良，胸怀道义，是个有忠义之心的人。唐高宗见李义琰既有才能又有义德，就让他做了宰相。
李义琰当宰相的时候，唐高宗因为患头风病，朝廷上的日常事务基本都由武则天处理。也正因为此，武则天的野心开始逐渐膨胀，有不少大臣也开始倒向她这一边，想让武则天执政。
耿直敢言的李义琰似乎并不买武则天的账。有一次，高宗想正式下诏叫武则天管理朝政，李义琰据理力争，高宗才放弃了这个打算。
后来武则天以太后身份为唐中宗李哲摄政，684年又因中宗不顺从而将其废黜，改立另一亲子唐睿宗。唐睿宗垂拱年间，朝廷想召回李义琰任怀州刺史。但李义琰自知先前曾阻止武后摄政，已得罪武后，就没有应召。
李义琰身居高位，平素生活都过得十分节俭，穿的是一般布衣，吃的是粗茶淡饭，住的房子也是又旧又简陋，连一般官员的住房都不如。
李义琰的弟弟、岐州司功参军李义琎见哥哥身为一朝宰相，日子却过得如此寒酸，心中实在有些不忍，于是劝他重建一所新宅。可是不管怎么劝，他就是不同意。过了些日子，李义琎又去劝他，他还是不答应。
李义琎见哥哥如此固执，就决定自己来替哥哥操办此事，于是他拿出自己的钱，背着哥哥买了建房的木料，选好了地点，准备大兴土木扩建相府。
李义琰知道此事以后，连忙出来阻止，对弟弟说：“我侥幸担任了宰相，已是感到十分惭愧，常常觉得自己不太称职。如若再兴建豪华的宅第，贪图舒适安逸这个小利，这不是有很好的道德，只会招来灾祸，到头来是适得其反。”
李义琎不以为然，说道：“如今从朝中大臣到地方官员，哪家没有高楼大院？你身为堂堂宰相，却住着如此低矮狭窄之房，岂不是不合情理。”
李义琰听了，仍心平气和地说道：“人生在世，生活不可能都尽人意，合不合情理关键是一个‘义’字。为人应该以义为先，在品格上追求完美。我为一朝宰相，身为百官之首，倘若迷恋享受，贪图安逸，岂不失去了为官应该遵守的大义，丢掉了做人的美好品德吗？”
李义琎见哥哥如此坚决，又言之有理，劝其建房之事，也就只好作罢了。后来，建房用的那木材年久腐朽，就被丢弃了。
李义琰后来因有足疾，请求退隐，唐高宗批准了，并授以银青光禄大夫荣衔。李义琰即将在东都洛阳附近退隐，很多官员在城门外设宴为他饯行，时人称场面堪比当年汉朝疏广、疏受叔侄的欢送会。
李义琰晚年病故于一丈方园的小屋里。唐高宗闻听此事，叹息不已，下诏书建造殿堂，用以安放其灵位。
李义琰一生秉持为官、做人的大义，敢于直言，胸襟坦荡，心地善良，清廉俭省，不营家业，在当时人们的心目中树立了完美的形象，在中华民族的历史长河中名垂史册。
