从康熙初年一直到雍正初年，江宁织造曹家坐镇江南大半个世纪，成为显赫一时的皇家心腹。但说到底，曹家始终都是内务府的包衣奴才。在讲究出身的清代，曹家身份如此卑贱，其家族又是如何兴起的呢?
曹氏世居北直隶的丰润，曹家的一支在明代迁至辽东。曹寅的高祖曹锡远在沈阳被后金俘虏，而成为正白旗包衣。曹氏这一支随战胜的满人入关，曹氏其余分支并未沦为包衣，安住在丰润老家。而部分迁居辽东的曹家人也未被俘，以自由之身住在辽东地区。
五十年后，曹寅接待了一个来自辽东的亲戚，他是曹寅的族弟，奉派南下江西担任县令。所以，从历史渊源来看，曹家仅有一支成为包衣，以包衣的身份得以荣华富贵。
史料中关于曹家的高祖曹锡远记载寥寥，对他的生平一无所知。康熙初年，曹锡远被追封为“资政大夫”，妻子张氏为“夫人”。这些头衔都是因为他的孙子的缘故，与他本人并未关系。
到了曹寅的祖父曹振彦之时，曹家开始发迹。曹锡远只有这么一个儿子，他生于1610年，明代史料记载他有生员或贡生的资格。后金时期，曹振彦成了俘虏，被归入正白旗包衣的行列。由于他颇具文采，入关后，即1650年被任命为山西平阳府告州知州。
1652年，曹振彦署理山西大同府知府。1656年到1658年间，出任两浙都转运盐使司盐法道，同时期升任盐运使。1658年，曹振彦死于任上，这时他的孙子曹寅才刚刚出世。曹振彦的儿子曹尔正，据《八旗通志》的记载，是正白旗第五包衣参领下的佐领，后来曹尔正被革去佐领职务，史书关于他的记载，也就只有这么多了。
纵观曹家的家族史可以看出：曹家第一代无足轻重，第二代富裕受人敬重，到第三代曹振彦的次子曹玺时，曹家已是荣华富贵。
曹玺在长子曹寅出生于1658年，当时他在内务府当差，而曹家日后所担任的江宁织造生涯在此时尚未展开。不过，曹玺的运气不错，结了一门好亲事，这对于他日后的飞黄腾达多有帮助。曹玺的妻子孙氏生于1632年，二十出头就给皇子玄烨、即日后的康熙帝当保姆。
孙氏出身上三旗包衣，她25岁出宫返家，之后嫁给曹玺。长子曹寅于1658年降生。玄烨小时候有一段时日因患天花住在紫禁城外，孙氏一直陪伴他的身边。继承大统后，玄烨显然还记得孙氏旧情，而给予特别关照。1684年，曹玺去世，康熙亲自登门吊慰。
1699年，康熙帝三次南巡，也特别召见了孙氏。孙氏觐见康熙时，康熙脱口说出：“此吾家老人也”。不过康熙对曹玺出任织造应该没有多大的影响，因为当时的康熙年仅九岁，政务具体由四大辅臣负责。
曹玺于1663年，即康熙元年赴任江宁织造，根据清制，这个职务是由内务府派人接任的。曹玺接到任命后携带家眷移居南京，直到1684年卒于任内。现有的官方档案中，并未记载曹玺的政绩，不过想来他是一个十分干练之人，因为1667年，曹玺奉召回京觐见康熙时，授蟒袍，加一品，同时追封他的祖父母为二品官衔，他本人则授工部尚书衔，妻子授一品夫人衔。这是曹家族人前所未有的殊荣。
曹寅自五岁是迁居南京，他和弟弟曹宣接受严格的经学教育。这个时候，满洲旗人包衣的职责似乎已成遥远的回忆，时人也不会因为他们是包衣的身份而有所慢待。当时有一位大儒尤侗在辞官赋闲后，有这样一份回忆录：“司空曹公，开府东冶;手植楝树，于署之野;爰筑草庭，栏干相亚;言命二子，读书其下;夏日冬夜，龂龂如也。”
到了曹寅接手江宁织造后，曹家的声望与日俱增，达到顶峰，尽管他所担任的江宁织造官品并不高，但因为是康熙帝的心腹，被委以着监督江南官员及文人士绅的重任。当时地方大员乃至督、抚上奏密奏的朝廷的奏本，都要通过曹寅之手上达天听，可见康熙帝对他的信任与重视。
曹家的发迹主要是与皇家有着千丝万缕的联系，确切地说是有康熙帝的特别关照。不过这种关照的有着局限性，出于感情因素，终康熙一朝可以庇护曹家，但对于即位的雍正帝而言，他对曹家并无感情。因此，在此后的清查亏空中，曹家注定要成为一个典型，被抄家治罪。