唐太宗李世民身边有两位非常重要的谋士：房玄龄和杜如晦。他们二人是李世民的左膀右臂，房玄龄通谋略，杜如晦善断，世人称作“房谋杜断”。
杜如晦出生官宦世家，杜家祖上先后在后周、隋朝为官，其父隋朝昌州长史。杜如晦自幼聪慧，长大之后也有意入仕途。但入仕不久，杜如晦就弃官归家。李渊太原起兵，后杀入长安，杜如晦入秦王李世民麾下。李世民军功卓著，为太子李建成忌惮。为了削弱李世民的力量，李建成出手将秦王府许多能人外调。
杜如晦就是在这个时候被房玄龄举荐给李世民的。房玄龄对李世民说：“杜如晦洞察事理，有王佐之才。有他的辅佐，将来定能成就大业。”于是杜如晦被李世民重用，后与房玄龄一道帮助李世民出谋划策。玄武门之变后，二者当得首功。李世民继位，杜如晦与房玄龄又为左右丞相。
杜如晦对李世民有如此高的功绩，也受到李世民的重用，但是杜如晦的两个儿子杜构、杜荷却没什么好结果。
出于政治需要，李世民曾多次下嫁爱女给功臣之子。房玄龄儿子娶高阳公主，杜如晦次子杜荷取城阳公主。
杜荷官至尚乘奉御，封襄阳郡公，是太子李承乾左膀右臂。而我们知道，李承乾的太子之位后来是被废了的。原因是太子李承乾谋反，那么跟在太子身边的杜荷自然也没好下场。
李承乾和李泰争权夺位，因为李泰受李世民过度宠爱，让李承乾心有不安，后来干脆派杀手暗杀李泰。事败，李承乾又害怕受到责罚，于是干脆一不做二不休，想要发动兵变。
杜荷不仅没有进行劝说，反而对李承乾说：“如今事情危急，当迅速发动。您可以对外宣称暴病近死，陛下一定会亲自前来探望，那个时候应该就能成功。”
但李承乾还没发动兵变，就被人告发，最终被废太子之位。而为李承乾出了这主意的杜荷，成为谋反首犯，处以斩首。城阳公主，也另嫁薛瓘。
杜荷的死，不仅是他一个人的问题，还牵扯到了他的兄长杜构。杜构作为杜如晦的长子，或许没有父亲那般惊世的才能，但是也是一位好官。
因为是长子，所以杜构承袭了莱国公的爵位。杜如晦病重之时，唐太宗为安其心，还升杜构为尚舍奉御。
贞观五年，杜构带兵在登州、莱州海域剿匪，不幸被针梁鱼嘴戳断左腿筋。并从而想到帮助渔民钓针梁鱼致富的方法，使得一方百姓生活安乐。
杜构官至慈州刺史，因为杜荷帮助太子李承乾谋反，事发后杜构受到牵连。杜构被贬到岭南荒野之地，最后死在边野!
因为太子李承乾谋反一事，杜如晦的两个儿子最终都没能落得好下场。