1956年胡适与妻子江冬秀在纽约寓所
早在就读于上海中国公学时，年轻的胡适就写过一篇《论家庭教育》，发表于1908年9月6日的《竞业旬报》上，其中说道：“看官要晓得，这家庭教育最重要的便是母亲。因为做父亲的，断不能不出外干事，断不能常住在家中，所以这教儿子的事情，便是那做母亲的专责了……现在要改良家庭教育，第一步便要开办女学堂。”
遗憾的是，胡适后来的妻子江冬秀没有进过学堂，按胡适的观点，她是无法成为一个称职的母亲的。
胡适和江冬秀育有3个子女。长子胡祖望虽接受了高等教育，但远未能达到胡适对他的期望，胡祖望取得的成绩与他的“名父之子”的身份是不相称的。小儿子胡思杜就完全不成器了，在美国读了两个大学都未能毕业，还染上不少坏习气，最终被美国当局驱赶回国。而女儿素斐5岁那年患病，却因救治不当夭折。
胡适公务繁忙，无暇照顾、管教孩子，而他的太太江冬秀因没有接受教育，对孩子，无论是养育还是管教，都不甚得法。对妻子的“教子无方”，胡适似乎很有怨言。这种情感，在他的信中也可见端倪。1927年2月5日，远在美国纽约的胡适给江冬秀写了封信，信中谈到夭折的女儿。胡适说：“我想我很对不住她。如果我早点请好的医生给她医治，也许不会死。我把她糟掉了，真有点罪过。我太不疼孩子了，太不留心他们的事，所以有这样的事。今天我哭她，也只是怪我自己对她不住。我把这首诗写给你看看。”
这封信里，胡适虽然只是自责，但他认为，女儿是因为治疗不当被“糟掉”的，父亲难辞其咎，做母亲的，难道就没有责任?
胡适关于家庭教育的观点终身未变，晚年，他曾对秘书说过这样一番话：“娶太太，一定要受过高等教育的;受了高等教育的太太，就是别的方面有缺点，但对子女一定会好好管理教养的。母亲有耐心，孩子没有教不好的;孩子教不好，那是做母亲的没有耐心的关系。”