杜夫人的第一任丈夫是吕布的部下秦宜禄，两人还有一个儿子，名叫秦朗。当时刘备率领关羽、张飞跟随曹操围攻吕布。为了摆脱困境，吕布于是派秦宜禄作为使者，前往袁术处求援。袁术既没有派兵援助，也没放秦宜禄回去，大概为了拉拢他，还将汉朝宗室的女儿嫁给了秦宜禄。
当时，刘备正与曹操合作，所以关羽也参加了包围下邳的战斗。关羽知道秦宜禄的老婆杜夫人是个绝代佳人，当时被困在城中，心里非常高兴，于是他找到了曹操，请求城破后，将杜夫人留给他。关羽还找了一个借口，说自己的老婆没给他生儿子，所以想换个老婆，“妻无子，下城，乞纳宜禄妻”。
曹操没当回事，当时就答应了。随着战事的不断变化，眼看下邳城就要被攻破，关羽大概怕曹操忘了这件事，隔三差五就去找曹操说这件事，“关羽屡请于太祖，求以杜氏为妻”。曹操是个有心人，“疑其有异色”。下邳城被攻破后，曹操抢先一步看到了杜夫人，当时就被吸引了，于是他违背了诺言，“乃自纳之”。
就连秦宜禄与杜夫人所生的儿子秦朗，也被曹操收养。杜夫人嫁给曹操后，虽然地位只是侧室，但却深得曹操的宠爱。正所谓爱屋及乌，曹操喜欢杜夫人，也很疼爱秦朗，每次宴会的时候，他对都宾客们说：“世有人爱假子如孤者乎?” 杜夫人先后给曹操生下两个儿子，一个女儿。
两个儿子分别是曹林、曹衮，女儿是高城公主。220年，曹操病死，此时杜夫人尚在，她虽然是侧室，却也得到了优待。221年，曹丕称帝后，加封曹林为谯王，曹衮为北海王，杜夫人一直跟着曹林生活，被尊为太妃。魏明帝在位时期，曹林被改封为沛王，杜夫人也被尊为沛王太妃。
史书虽然没有写杜夫人的生卒时间，不过从这段记载来判断，她还是非常高寿，经历了曹操、曹丕、曹叡祖孙三代的统治，最后得以善终。杜夫人的经历虽然有些坎坷，但还是比较幸运的，而她的前夫秦宜禄可就倒霉多了。吕布被擒杀后，秦宜禄投降了曹操，被任命为铚长。
后来，刘备率领关羽、张飞脱离曹操，经过铚县时见到了秦宜禄。张飞对秦宜禄说：“人取汝妻，而为之长，乃蚩蚩若是邪!随我去乎?”意思是说，曹操霸占了你的老婆，你还给他做县长，哪有这样的傻子，跟我们一起走吧!秦宜禄觉得有理，就和刘备他们一起走了，走了几里路后，他觉得事情不对，“悔欲还”，结果被张飞杀死。