唐朝天宝三年，在朝中担任秘书监的大诗人贺知章已经八十六岁了。年纪越大，他也越来越思念故乡萧山，就向唐玄宗辞职，说想回家修道，以终天年。
唐玄宗虽然不舍得多年的老臣贺知章，可也知道他的年纪实在是太大了，就下旨批准了。皇上还特别颁旨，让萧山地方官出钱把贺知章的故宅改建成千秋观，以便让他安心修道。
贺知章回到萧山老家，随行的只有儿子贺孚。踏上故土的贺知章分外激动，听着熟悉的乡音更是百感交集。因为街道变化太大，他有点迷路了，便向街上玩耍的孩童问路。当孩童告知后，兴冲冲的贺知章当即赋诗一首《少小离家老大回》：
少小离家老大回，
乡音无改鬓毛衰。
儿童相见不相识，
笑问客从何处来。
远远的，贺知章父子看到了故宅，恨不得插翅飞过去。可是，眼前有一条河拦住了去路。举目远望，河上连一座桥都没有。再往下看，只见河面上横着一条摆渡船。贺家父子赶紧上前，招呼摆渡船。船上站着一个歪戴帽子的家丁模样的人，伸手就要摆渡银一两。贺孚一听吓了一跳，一两银子能买五十斤白米，这价格也太贵了。他不由怒道：“哪有这么贵的?我另找个摆渡船!”
家丁两眼朝天地说道：“这棣上河三十里内，所有的摆渡船都是曾家的，都是这个价。想省钱，你只管游过去好了!”这话够霸道的，贺孚就要发火，被贺知章拦住了。他知道自己父子久未回乡，不了解当地情况，还是打听明白再说。于是，贺知章掏出一两银子，两人坐船过了河。
贺家老宅是一座三间房的小院子，早已破败。不过当地的曾县令已经奉旨，带着一帮工匠等着改建千秋观。贺知章虽然已经告老回家，曾县令对他仍然毕恭毕敬。贺知章想起了棣上河摆渡的事，就问曾县令。曾县令叹了口气，说这条河常常发大水，因此始终无法修桥。摆渡价格高，是因为河流湍急，摆渡人有风险。
贺知章当即说：“修道修的是人心，与其花钱修观，不如就建桥吧。发大水没关系，只要把桥墩加高即可。”曾县令听完后，苦着脸说：“皇上下旨修的是千秋观，如今改为建桥，岂不是抗旨不遵?再说您的宅子这么破旧，也没法住。”
贺知章听完微微一笑，说：“你只管先停了工程，上奏皇上，就说我贺知章决意弃观建桥，皇上一定会恩准的。至于我的房子，还勉强能住。”
事情就这样说定了。可是时间一天天过去了，县衙里一点动静都没有。贺知章这个急啊，因为自己身体不大好，就让儿子贺孚出门打听到底是怎么回事。过不多时，贺孚怒气冲冲地回来了，对贺知章说：“爹，您上当了。原来河上的摆渡船都是这里的恶霸曾员外把持的，这个曾员外正是曾县令的亲弟弟。建了桥，就是断了他们的财路。听衙门里的人讲，曾县令压根就没上奏，他打算拖到您忘了再说!”
贺知章性子十分火爆，闻言不顾病体，起身去找曾县令理论。谁知曾县令来了个闭门不见，他去了好几回都找不到人。无奈，贺知章就打算自己写奏折上报朝廷，可写一半又放下了，因为他现在无官无职，没有资格 上奏了。贺知章越想越窝火，心里一急，病情就加重，眼看病入膏肓了。
这一天，奄奄一息的贺知章终于见到了曾县令。原来这家伙又接到新的圣旨，说等贺知章百年之后，要下旨赐封仙号，在千秋观中立像祭祀。这真是皇恩浩荡啊，曾县令屁颠屁颠跑来道喜了。贺知章听完，心头不由感慨，唐玄宗乃一代明君，可现在却痴迷鬼神之道，忘记了天下苍生。
忽然，他想出一计，急忙把儿子贺孚叫到跟前，低低嘱咐一番。贺孚满眼含泪，点头应允。之后，一代大诗人贺知章溘然长逝。
等贺知章下葬后，曾知县就开始张罗着修观立像了。修好观塑好像后，四名工匠往木座上立像的时候，神像的脸却自动转向北方，连立了三次都是这样。曾县令有点儿慌了，急忙问工匠是怎么回事，工匠们都茫然摇头。
神像面向南方才对，否则曾县令就交不了皇差，他不由慌乱起来。好在第二天早上，贺孚来找曾县令了，说他昨晚做了个梦，梦见了老爹贺知章说，他在等一位北方来的腰佩金龟的仙人，而这位金龟仙不日即到。
当时皇上痴迷道教，全天下都在谈鬼神之术，曾县令也不例外，立刻派出衙役到城门口迎接金龟仙。第三天，还真有一位腰佩金龟的中年文士飘飘而来。衙役们立刻通报了曾县令，曾县令亲自出迎，然后说明给贺知章立像的事。文士略一沉吟，说：“贺老估计是心愿难了，但具体是什么心愿，我得去问问。”
曾县令便带文士前往千秋观。文士面对神像，先是侧耳听了听，然后点点头，才转身对曾县令说：“贺老说了，他的心愿是拆掉千秋观，用来建棣上河的桥!至于神像，可以立在剩下的一间旧宅里，這样的话他的神像自然就立正了。”
曾县令一听拉着苦瓜脸，说：“可是皇上下旨没说建桥啊，这个责任我担不起!”文士就说：“这个容易，你即刻写本上奏，我也具名。”曾县令虽然不想建桥，但立不正神像交不了皇差，无奈就开始写奏折。写完之后，文士提笔在后面写上名字：臣李白同奏!
曾县令恍然大悟，眼前文士竟是名满天下的大诗人李白，皇上曾经亲口封他“谪仙人”名号，难怪贺知章要称他金龟仙了。有他出面，这奏章皇上自然会批准。这时候，李白招呼工匠把神像立在旧宅里，果然端端正正面向南方。
曾县令看看神像，又看看李白，就有点醒过味儿来，李白和贺知章是旧识，这来得也太巧了吧。可是，奏章已写好，李白又名满天下，这桥是不修也得修了。
曾县令没猜错，李白正是贺孚一封书信请来的。贺知章临死对贺孚嘱咐，要他写信给京城的李白报丧，并说明详情。两人交情深厚，李白肯定会来。李白一向身佩金龟，正好用金龟仙来吓唬曾县令。而神像始终面向北方，是因为贺孚跟工匠们商量好，在木座下安了滑轮机关，会自动朝向北方。
却说李白来到贺知章坟前一阵恸哭，贺孚忙过来劝解。李白这才止住悲声，挥笔写下一首诗《对酒忆贺监》，来纪念这位肝胆相照的老友：
四明有狂客，风流贺季真。
长安一相见，呼我谪仙人。
昔好杯中物，翻为松下尘。
金龟换酒处，却忆泪沾巾。
金龟换酒，说的是李白三十五岁那年在长安游历，和贺知章初识于一处街头。那时李白只是一介布衣，贺知章是朝廷高官，但两人都感觉遇到了知音，于是贺知章立刻拉李白进入酒馆痛饮。其时贺知章身上没带钱，竟然把身上戴的金龟摘下，换酒酬知己。后来李白赎回金龟，贺知章却不要，送给了生平第一好友李白。如今好友故去，李白悲痛万分!
半年后，新桥落成。李白此时还没有走，曾县令让他给桥赐名。李白说，贺知章在朝中为官时就多次说过思念家乡，就叫“思家桥”吧，然后大笔一挥，写下潇洒飘逸的“思家桥”三个字。从此，思家桥就横跨在萧山棣上河，方便行人来往。