他本名李若冰，或许这个名字给人太过孤傲冰冷的感觉，皇帝就给他改名“若水”，希望他能像水一样随机应变。靖康元年(1126年)，宋金两国处在不断的战争与议和中。李若水被推选为谈判使者，并得到皇帝召见。
第一次出使，李若水明白了金国的宰相粘罕对和谈的方案全都拒绝，执意要南攻。在第二次出使途中，随行官员们看到驻守黄河的宋军因为惧怕金兵来袭而惊慌失措，商量着要从小路逃走。李若水却说：“怎么能效仿他们，如果真有金兵，今天正好以死报国!”他还下令要将商议逃跑的人处死，这才让大家的心安定下来。
金兵的攻势越来越紧，甚至要皇帝出城与他们相见。到了第二年，金人再次提出要见皇帝。当时北宋的兵力并不弱于金人，但宋钦宗受主和派奸臣蒙蔽，对金人非常畏惧。在钦宗忧虑之际，李若水勇敢地站出来，表示他愿意护送钦宗出使。
谁知金人扣押了钦宗，还逼他脱下龙袍，换上金国衣服。汉服从黄帝“垂衣裳而天下治”出现，它的设计中蕴含了汉族文化的道德内涵，在宋代就已经成为民族文化和精神的传承。正如孔子所感慨的：“微管仲，吾其被发左衽矣。”可见汉人对汉服的重视程度。 金人的行为，是对宋帝的极大侮辱。
因此，李若水悲愤地抱着钦宗大哭，痛骂金人是“狗辈”，而他也遭到毒打，以至上气不接下气而昏死过去。粘罕敬重李若水的为人，有心招降，就下令：“一定要保李侍郎无恙。”李若水不为所动，便以绝食抗争。
看守的金兵试着劝说他：“虽然你骂了人，国相却没有生气。你今天归顺他，明天就能享受荣华富贵了。”他却义正辞严地说：“天上没有两个太阳，难道我李若水有第二个君主吗?”
他的仆人也来劝说：“您父母年事已高，如果您愿意臣服，就有机会回去见父母。”李若水大声斥责：“忠臣侍奉君主，如今只有一死了!你回去以后，不要马上把我的死讯告诉我的父母，让我的兄弟慢慢告诉他们吧!”
十天后，粘罕召见李若水，和他商议拥立他人做宋帝的事情。李若水严词反对：“太上皇为百姓着想，已经罪责自己、禅让帝位。如今皇上仁义重孝道，没有过错，怎么能轻易废立?”粘罕又生一计，责备宋帝在议和时不守诺言。李若水毫不客气地还击，直斥粘罕才是最无信的人。他又说：“你是巨贼大盗，离灭亡没有多少日子了!”
李若水铁齿铜牙，每个字都如利剑一般刺痛粘罕的颜面。粘罕命人把李若水拖走。李若水知道自己将葬身敌营，反而骂得更凶。他还对一个仆人说：“我为国而死，是我的职责所在，却要连累你们!”金人先是打烂李若水的嘴，他喷出血来继续骂不绝口。金兵又割断他的喉咙，割下他的舌头，李若水这才气绝身亡，终年35岁。他留下一首悲壮的绝命歌：“昂首问天啊，上天不说话;忠臣为国效死啊，死又有什么过错?”
南宋时，李若水的仆人逃回朝廷，详细描述了他慷慨赴死的情形。宋高宗大受感动，下诏怀念他：“李若水的忠义气节，无人能比，我听说后，也为他痛哭流涕!”并追封他为高官，赠谥号“忠愍”。