张孝祥是豪放词继辛弃疾之后的代表，他从小读书过目不忘，下笔千言。金兵入侵中原，张孝祥随父南下避难，迁居到芜湖。15岁时，他与一位少女自由恋爱，进而同居了。
这位少女姓李，因为张孝祥后来对李氏讳莫如深，什么都不说，后人知之甚少，只知道两人两情相悦，未婚同居，李氏生了一个儿子。
16岁的张孝祥做了父亲。也就是这一年，他通过了乡试，随后继续求学的他陷入了一场爱情纠葛：他与李氏感情深厚，却不能名正言顺地结为夫妻。他俩生的儿子，取名张同之。这时候的张同之，同李氏一样，没有名分，虽然姓张，却连张家人都算不上，只能算是两人的私生子。
为什么不能和心爱的人结婚?后人对李氏有种种猜测。世上不能成眷属的情人太多了，追寻原因其实已不重要，重要的是，是不是真的曾经相爱过。
六年之后，张孝祥参加会试，之后，又参加廷试。1154年三月二十一，他被宋高宗钦定为状元，这是张孝祥一生中最为辉煌的时刻。
秦桧原先想让孙子秦埙做状元，如意算盘落空后，对张孝祥又羡又恨。秦桧的亲信曹泳看在眼里，就在朝堂之上当众向张孝祥提亲，他说自己女儿貌若嫦娥，文比蔡姬，现待字闺中，如能与张孝祥结合，那是绝配。
刚开始，张孝祥还想敷衍，说自己已娶贤妻。但秦桧显然看过他的“档案”，就说：“状元何必说假话?谁都知道，你家中并无贤妻，你那登记的表格上，不是写着‘未婚’吗?”
原来，参加会试时，张孝祥隐瞒了和李氏同居生子的事实，在表格上登记婚姻状况时，填了“未婚”。这时候，张孝祥进退两难，如果说已和李氏结婚生子，那不是弄虚作假，犯了欺君之罪?秦桧等人如果继续以此做文章，就麻烦了。
曹泳要把女儿嫁给张孝祥，张孝祥干脆装聋作哑，一声不吭。我什么都不说，就是不表态，你总不能把我绑着去做新郎吧!曹泳没辙，和秦桧一起把张孝祥恨上了。
张孝祥回去后，第一件事就是把李氏与儿子张同之送走。男女之间最凄绝的事情，莫过于情正浓而不得不别，为了前途，为了事业，张孝祥“遣送”情人与爱子，实属无奈之举。儿子此时已有八岁，正是牵着衣襟叫“爸爸”的年纪。
李氏此番要去的地方是她的老家浮山(今安徽省枞阳县浮山镇)。此时一别，说不定就会永隔红尘，她与他将永无再会之期。送别时间，正是重九前夕，秋风萧瑟，更增添送别的悲凉。张孝祥写了一首《木兰花慢》描述当时的情形：
她走之后，他开始想象自己今后的凄凉时光，天气凉了，草木摇落露为霜，再也没有温柔体贴的人儿嘘寒问暖，把衣服烘干或者薰上香味这种事，唤谁来做啊?回到两人曾经的住地，芳踪宛在，而人已杳如黄鹤，禁不住悲从中来。心里不舒服干脆喝酒吧，殊不知，越喝越清醒，那酒不但不能解愁，反而更添了许多愁。
他内心极为压抑，但他不得不写得非常含蓄，否则，秦桧等人对号入座，给他的压力就太大了。秦桧要拉拢他，曹泳更是愿意把女儿嫁给他，他拒绝曹泳之后，把秦桧等人都得罪了，如果这些人知道了他以前还有个“地下情人”，肯定会到皇帝面前参他一本。
李氏回到浮山以后，出家修道，养育幼子，长年与孤灯黄卷相伴，却尘缘未断，一颗幽闭在道观的心凄寂不堪，给他写来缠绵绯恻的信。
这个时候，李氏也听说了张孝祥的一些事情。原来，张孝祥是主战派，曾经上书给皇帝为岳飞平反，要求朝廷表其忠义，使公道昭明于天下。秦桧大怒，立即寻机报复。他诬告张孝祥父亲谋反，将张孝祥等人列入了黑名单，准备痛下杀手。幸亏此时的秦桧年老体弱，得了重病，来不及判决这些人的死刑，就一命呜呼了。张孝祥这才逃过一劫。
秦桧死后一年，张孝祥与表妹时氏结婚了。时氏嫁给他后，两三年就去世了，张孝祥写了三则短短的悼文，除此之外，他的诗词里再没有只言片语提到过她。可见，他与时氏感情平淡。
儿子张同之长大后，与张孝祥仍有来往，在张孝祥的诗集中保留有与儿子的和诗。而从张孝祥写给李氏的诗词来看，他对李氏一直处于深深的忏悔与怀念中，可谓情深意笃。
有一次，张同之远道来看望张孝祥，张孝祥看到儿子都长这么大了，十分思念李氏，于是写了一首《转调二郎神》：想静拥孤衾，频挑寒灺，数行珠泪……
1169年夏天，张孝祥与好友泛舟芜湖时，突然中暑身亡，终年37岁。宋孝宗听说后，深为惋惜，有用才不尽之叹。他去世那天，“商贾为之罢市，两河之民惶惶如失所恃”。
张同之后来不辜负父母期望，考中了进士。他上表请求荫封其母李氏，这样，张同之的墓志铭上才得以出现“生母李氏”这几个字。至此张孝祥的这一段地下婚姻，总算露出了冰山一角。