3月24日下午4时，中日第三次谈判结束后，满怀心事的李鸿章步出春帆楼，乘轿返回驿馆。谁知，就在李鸿章的轿子快到达驿馆时，人群中突然蹿出一名日本男子，在左右未及反应之时，照定李鸿章就是一枪。李鸿章左颊中弹，血染官服，当场昏厥过去。一时间，现场大乱，行人四处逃窜，行刺者趁乱躲入人群溜之大吉，躲入路旁的一个店铺里。
眼见主人遇刺，李鸿章的随员们赶快将其抬回驿馆，由随行的医生马上进行急救。幸好子弹没有击中要害，过后不久，李鸿章就苏醒过来。李鸿章毕竟见过大风大浪，面对此景表现得异常镇静，还不忘嘱咐随员将换下来的血衣保存下来，不要洗掉血迹。面对斑斑血迹，73岁的李鸿章不禁长叹：“此血可以报国矣”。
李鸿章的伤口在左眼下一寸的位置。所幸的是子弹虽然留在了体内，但并没有伤到眼睛。李鸿章在日本遇刺立即引起了国际社会的关注，德国驻日公使馆的医生赶来为他看病。各国医生会诊之时，日本医生建议开刀，但德国和法国医生坚决反对。理由是既然这颗子弹对李鸿章眼睛的正常工作无害，不如暂时留在体内。他们担心，如果贸然开刀，将会危及李鸿章的性命。
行刺事件发生后，马关警方很短抓到了凶手。经审讯，此人名叫小山六之助，21岁，是日本右翼团体“神刀馆”的成员。他不希望中日停战，更不愿意看到中日议和，一心希望将战争进行下去，所以决定借刺杀李鸿章，挑起中日之间的进一步矛盾，将战争进行到底。小山六之助的想法与日本政府此时的意图大相径庭。
日本政府本来拟就的谈判方略是借战争逼迫清政府签订不平等条约，然后见好就收。此时的伊藤博文最担心的就是有什么把柄落在列强手中，让一直虎视眈眈的西洋各国从中干涉，坐收渔翁之利。小山六之助的行为恰恰无异于授人以柄。难怪伊藤博文闻讯后气急败坏地发怒道：这一事件的发生比战场上一两个师团的溃败还要严重!
李鸿章遇刺的第二天，清政府给李鸿章来电，除慰问伤势之外，还指示应趁“彼正理曲之时，李鸿章据礼与争，或不至终秘不与。”当时，如果李鸿章就势回国，再怂恿列强进行干涉，也许《马关条约》的内容就不会是后来那个样子。可是被列强与日本欺负得没脾气的清政府压根儿没有想过可以利用列强之间的矛盾，只是担心如果不及早结束谈判，在华日军将会继续制造战端，危及京师安全。