俗话说得好，“伴君如伴虎”，曹家也是一样，身为官场世家的曹家同样没有能够很安心地生活在皇帝的视野之下。
从曹玺到曹寅，到曹颙(曹寅的长子)、再到曹(曹寅的侄子)、最后到曹雪芹这一代的时候，康熙王朝已经过去，在面对随之而来的雍正王朝时，曹家似乎显得太过格格不入。雍正帝不是昔日对曹家宠爱有加的康熙帝，而面对新一代曹家掌门人的曹时，因为他的碌碌无为以及“骚扰驿站”等事情的败露，最终使得雍正帝忍无可忍，在“严明吏治”的旗帜下，将曹革职查办，曹家家产充公，曹家人回京归旗(曹家人祖上为正白旗)。
1.康熙帝与曹家
曹家为何能在康熙年间混得风生水起，身处于封建时代，世家大族的崛起似乎总与帝王的垂爱不无关系，如若不是康熙帝对曹家的多多提携，仅凭曹家历代当家人的为官作风和能力来看，曹家无论如何都不会有此殊遇的。
康熙帝同曹家的关系要从最早的曹玺说起，公元1651年，摄政王多尔衮因犯死罪故顺治帝将其所属的正白旗收纳为自己手下，这也就直接导致了正白旗日后成为了爱新觉罗家族的家奴。而曹玺与康熙帝的关系，则是由“家奴”这一层关系的基础上发展而来的，康熙帝儿时的保姆正是曹玺的妻夫人，再加上曹玺本人的能力突出，故尤为受到康熙帝重任。
曹玺去世之后，因为曹寅从小同康熙帝亲身长大，两人关系甚为不错，因此康熙帝在对待曹寅之时，也是十分宠爱的。《清史稿》记载：康熙帝五下江南，曹寅五次接待，其中四次都是寄宿在了曹家，由此可见，康熙对待曹家的信任程度。不过也正是因为康熙帝对曹家的一味宠爱和庇护，在很大程度上终才导致了曹家后续命运的不幸。
2.雍正帝与曹家
按理来说，康熙帝生前对待曹家的态度十分友好，身为继承人的雍正帝自然不会逆着父皇的心愿来，但时值雍正帝亲临金銮殿的时候，却首先将矛盾对准了曹家，之后便以种种罪状将曹家抄家。对于雍正帝来说，曹家的最终悲惨结局也在很大程度上满足了雍正帝的一桩心事吧!
其一：天子脚下，贪赃枉法，有违政改
上边提到，曹寅曾经主持了康熙帝五下江南等巨大事宜，在此期间，曹寅所投入的银子数目不可估量，再加上曹寅本人身在官场的日用排场、应酬送礼等开支，确实压的曹寅很难喘过气来。公元1709年，时任两江总督的噶礼参奏曹寅，内容是：曹寅(江宁织造)和李煦(苏州织造)亏欠公银三百万两。
但当时康熙帝对待其两人的态度还是温和的，只是让他们随后补空，并未对之作出惩罚。曹寅去世后，朝廷便又查出了曹寅生前曾亏空国库三十七万三千两白银。如此巨大的亏空数字对于曹家来说，确实是个天文数字，但这重担自然而然就落在了曹家后世当家人的肩膀上了。
雍正上台之后，便面向全国展开了大规模的清查钱粮、严明吏治的活动，恰巧时任江宁织造的曹不仅没有补空祖上所亏空的钱财，反倒还贪赃枉法起来，面对如此不堪之局面，雍正绝不可能再放任随之了。
其二：曹家人参与了“九龙夺嫡”
如果当时曹家人选择站到支持四爷(雍正)的角度上，其实也就不会引来后期雍正对其的反感，至少不用被拿来开刀。但至康熙晚年之时，曹家人犯了两个错误：①不应该参与到“九龙夺嫡”当中来;②更不应该站到支持八爷的角度上来反对四爷。