一年后，俞伯牙地一位朋友为他介绍了一门亲事。因俞伯牙还沉浸在亡妻之痛中，本不打算再娶了；可经不住众人的劝说，只好勉强答应先去女方家相看后再定。没想到这一看不要紧，俞伯牙竟然对那个姑娘一见钟情；而对方也因俞伯牙才华横溢，有意嫁他为妻。但她提出一个条件，要先听俞伯牙为自己弹琴一曲，才肯嫁给他。
俞伯牙回家取来那张断了一根琴弦的琴，拆去一直没心思接的断弦，续了一根新弦后，为姑娘弹奏起来。那一曲曲悠扬动听的雅韵，一会儿如高山流水，一会儿如碧空飞云，真是出神入化，一派仙乐。大家听得似痴如呆，琴声停后好一阵才醒转，接着就是一阵喝彩声。就连一向拘谨的闺秀，也情不自禁地拍起了巴掌。当下答应了这门婚事。
这个故事传开之后，民间便开始用“续弦”指丧妻再娶了。
还有一个说法：据《汉武外传》当中记载，汉武帝用的弓弦断了之后，以鸾胶续之，弦后来变得异常坚固，一直没被拉断。后来人们便称男子续娶为“续弦”、“续胶”或“鸾胶再续”。刘兼的《秋夕书怀呈戎州郎中》诗：“鸾胶处处难寻觅，断尽相思寸寸肠。”这里的“鸾胶”，就是续娶的意思。