孔子说"惟女子与小人为难养也，近之则不逊，远之则怨"，将女人与小人相提并论。最近，武汉大学教授陈文新在"国学班"上课时，对孔子为何发出如此感叹，推测出两种原因：一是孔子可能在谈恋爱的过程中受过挫折;一是孔子婚后家庭生活不太美满。孔子谈恋爱过程中是否受过挫折，不得而知，如果真有其事，不知道是不是与长得不帅有关。高安侠在《另眼看孔子》一文中提到，孔子是一个"白眼仁多，黑眼仁少。鼻孔外翻，牙齿缝大。脑袋四周高中间低，活像个倒扣的痰盂，而且个头也不高"的人。长成这等形状，谈恋爱时遭女性拒绝取笑，落下心理阴影也不是不可能。
不过，孔子的婚姻生活不太美满却是真真切切的--孔子是个离过婚的男人。孔子那个时代不叫离婚，叫"出妻"，也就是后来说的休妻。关于"出妻"，古代礼书中有"七出"的规定，即妻子在七个方面(无子;淫佚;不事父母;多言;盗窃;妒嫉;恶疾)的任何一个方面"有问题"，丈夫都可据此宣告解除婚姻。孔子出妻是有据可考的。《礼记》记载："门人问诸子思曰，\’昔者子先君子丧出母乎?\’"子思是孔子的孙子，这里是门人问子思："从前你的父亲为被休出的母亲穿孝服守丧礼吗?"宋代大儒朱熹对此有注解："伯鱼之母出而死。"伯鱼是孔子的儿子，这段史料证明孔子确实离过婚。
依我猜测，孔子是一个以事业为重的男人，为了推销自己的学问，获得君王的采用，长年周游列国，形如丧家之犬，哪里顾得上老婆孩子。做妻子的上要照顾老人，下要抚养孩子，还长年见不到丈夫，其辛酸苦闷可想而知。无论多任劳任怨的妻子，也难免唠叨，甚至生气抱怨。每当此时，估计学成文武全艺，却没能货与帝王家，只能教教学生混口饭吃的孔子，也会有一肚子的气无处发泄，夫妻之间的矛盾在所难免。
时间长了，虽圣人如孔子也可能会厌烦起妻子和婚姻来，最后找了个理由将妻子扫地出门，某一天借酒浇愁时发了一番"惟女子与小人为难养也"的感叹，被门人记录下来，成了孔子歧视女人的口实。儒家讲修身、齐家、治国、平天下。"一屋不扫，何以扫天下?"孔子活着时没有在政治上混出大名堂，不知道是不是因为家没有"齐"好。在女权主义高涨的时代，提倡男女平等的今天，我们不必责怪孔圣人的偏见，毕竟瑕不掩瑜。孔子不是还教给我们一个办法么："择其善者而从之，其不善者而改之。"