1894年8月1日，甲午战争正式爆发。李鸿章被任命为清军的最高统帅。战争从一开始就朝着李鸿章最不愿看到的局面直转而下。那段时间，李鸿章不时地听到传来一个又一个晴天霹雳。这种莫名其妙的溃败方式，让李鸿章比谁都苦涩，比谁都委屈，也比谁都愤懑。他的朋友吴汝纶曾经回忆说：“平壤之败，李相国痛哭流涕，彻夜不寐……及旅顺失守，愤不欲生。”
朝廷向日本提出了议和的倡议。输光了的李鸿章愧于与日本人面对面，当恭亲王试探着让李鸿章前去日本议和时，李鸿章选定的人物，是在天津海关工作20余年、对李鸿章忠心耿耿的德国人德璀琳。在节节胜利的情况下，日本当然不想立即收兵，他们想占领东三省部分领土，以此来逼迫清国做出更大的让步。更何况，中国政府此时派来的是一名洋人，很可能是来打探虚实的。
德璀琳灰溜溜地回到中国。1895年2月1日，清政府又派张荫桓和邵友濂二人赴日，第二天，双方互换国书。伊藤博文发现张荫桓和邵友濂所携带的国书文字中有“一切事件，电达总理衙门转奏裁决”内容，认定二人授权不足，拒绝与他们谈判。伊藤博文问伍廷芳：“你方为什么不派遣重臣来呢?请问恭亲王为什么不能来敝国?”伍廷芳答道：“恭亲王位高权重，无法走开。”“那么李鸿章中堂大人可以主持议和，贵国怎么不派他来?”伍廷芳随之反问：“我今天是和您闲谈，那我顺便问问，如果李中堂奉命前来议和，贵国愿意订约吗?”伊藤博文自然能够听出伍廷芳的弦外之音，回答得也是滴水不漏：“如果中堂前来，我国自然乐意接待，但还是符合国际惯例，必须拥有全权。”
就在这次谈话前后，日军取得威海卫战役的胜利，北洋海军全军覆没。清政府失去了与日本人讨价还价的最后筹码，没有别的办法，只好派李鸿章前往日本议和。
1895年2月22日，李鸿章奉旨进京。此时，日本人再次向清政府表示，如果要和谈，不仅要清政府赔款和承认朝鲜独立，而且要求割地!慈禧气急败坏，借口肝气发作，对于议和一事，不愿表态，只是环顾左右而言他。满朝大臣，一片义愤填膺，但具体到如何解决问题，一个个束手无策，并且，谁都不愿意背上遗臭万年的罪名，去接这个烫手山芋。李鸿章自然也不愿意。经办外交多年，李鸿章早尝够了“卖国贼”的滋味，所以，他一定要得到清政府的全权授权，才肯出使日本。
李鸿章为了寻求支持，确切了解各国列强的态度，再次奔走于各国使馆。只可惜此时各国要么已与日本沆瀣一气，要么暗中打着自己的“小九九”，准备坐收渔翁之利。李鸿章的求助行动并没有结果。
3月4日，光绪正式发出了全权证书，宣布李鸿章为头等全权大臣，予以署名画押权。14日，李鸿章等人启程直奔日本马关。