方以智是安庆府桐城县凤仪里人(今属安徽桐城市)，出身士大夫家庭。方氏是桐城地区这一时期主要的世族。曾祖父方学渐，精通医学、理学，并且能学习诸子百家，融会贯通，自成体系 ，除记录赴东林讲学的《东游记》外，著有《易蠡》、《性善绎》、《桐夷》、《迩训》、《桐川语》等。祖父方大镇在万历年间，曾任大理寺左少卿，著有《易意》、《诗意》、《礼说》、《永思录》、《幽忠录》等数百卷。因方学渐曾受学于泰州学派的耿定理，《明儒学案》把他列入《泰州学案》。外祖父吴应宾，精通释儒，著有《学易全集》、《学庸释论》、《宗一圣论》、《三一斋稿》等。父亲方孔炤，万历四十四年进士，崇祯朝官至湖广巡抚，通医学、地理、军事，并且较早地接触西学，主张研习经世致用的知识，著有《周易时论》、《全边略记》、《尚书世论》等有《全边略记》等著作，《明史》有传。《周易时论》被《四库提要》列入存目。这书对方以智影响很大，方一生中经常提到它。