谷崎20多岁时，他有一种奇异的爱好，要找一个娼妇型的女子做妻子。他迷上了一个艺妓，可那个女子已有人包养，就把自己的二妹介绍给了谷崎。这就是谷崎的第一任妻子千代夫人。他们不久结婚，一年后他唯一的孩子——女儿鲇子出生。但婚后不久，他发现千代虽是艺妓的妹妹，本人却是贤妻良母型，不禁大失所望。他看上了千代15岁的三妹是“可造之材”，于是经常把千代打发回老家照顾他父亲，自己却在东京和三妹半公开地同居起来。这一段培养少女的经历被他写成了前期的代表作《痴人的爱》。后来那位三妹在谷崎的资助下成为了演员。
有一段时间他真心想和三妹结婚，但谷崎是长子，有一种莫名的责任感，觉得一定要帮前妻解决好今后的生活才能离婚。他刻意地经常不在家，拜托他的好朋友诗人佐藤春夫照看妻女，想撮合佐藤和千代。佐藤和千代得到他的暗示，经过一段时间来往，也真的产生了感情。可是事与愿违，三妹拒绝了谷崎的求婚。他又想和千代复合，找到佐藤春夫，要和他绝交，说以前的事一律作废，让佐藤不要再联系千代。佐藤给他玩得昏头转向，却又真心爱上了千代，在绝交期间不能给千代写信，就写了很多情诗发表在报刊杂志上。后来汇总成《殉情诗集》，被誉为日本近代恋爱诗集的压卷作。谷崎也根据这段经历写了《神与人之间》、《食蓼虫》等作品。
他们这一绝交就是六年。其间佐藤结了婚，又离了婚。谷崎想和千代重归于好，但夫妻关系总是坎坷。六年后，他们在东京的一次聚会上又碰面了，一笑泯恩仇。佐藤说起自己家庭生活不如意，谷崎并没作声。他们三个人讨论之后，联名给亲朋好友发了一张明信片，声明“千代跟谷崎离婚，跟佐藤结婚。鲶子由千代抚养，谷崎家的住房让给佐藤和千代。”当时谷崎住在神奈川县的小田原，这件事被称为“小田原事件”，也就是俗称的“细君譲渡事件”，在社会上引起轩然大波，被作为文学家道德败坏的例证。
他和千代夫人关系冷淡期间一直出游在外。一次，在别人招待芥川龙之介的宴会上，他认识了慕名前来见芥川的根津松子夫人。松子出身于关西的大户人家，是四姐妹中的老二，当时嫁在大阪数一数二 的大富豪根津家，已生儿育女(也就是《细雪》莳冈四姐妹的故事原型)，谷崎一见倾心，惊为天人。可是，双方都有家庭，而且根津家财大势大，他只是一介文人，所以虽然仰慕，但也遥不可及。
他一直与松子夫人书信来往，但自己也知道是无望的。谷崎在信中称松子夫人是激发自己创作灵感的艺术女神，用非常恭敬的谦语，表示愿意作松子夫人的奴仆。
但谷崎明知和松子夫人没有结果，就打算找个新人。他从女秘书带来的3个女同学中挑选了一个，展开攻势。这是一个20岁出头，还充满幻想的文学女青年。谷崎想把她培养成理想的妻子，好像光源氏培养若紫一样。1930年，他和千代离婚，第二年和这位丁未子夫人结婚。婚后，谷崎家和根津家仍是邻居，两家经常走动。
蜜月后没多久，谷崎发现要把这个日本娃娃似的年轻夫人培养成心目中的理想女性对40后半期的自己来说太累了。而根津家因为户主(松子夫人的丈夫)不擅经营，那时经济已很拮据，只剩表面的排场，后来甚至把别墅都卖了。而且根津先生有一个公开的情人，很少回家。根津和松子的婚姻也摇摇欲坠。谷崎看到了自己爱情的一线曙光，在根津家的默许下，两人迅速接近。在谷崎和丁未子短暂的婚姻生活中，数次借住根津家的别墅，没几个月，他们就分居了。谷崎甚至在松子的陪同下，在松子娘家出钱建的寺庙里隐居写作。
谷崎和丁未子的婚姻只维持了一年，在松子和根津离婚后，谷崎也离了婚，并在49岁时和32岁的松子结婚，终于找到了自己终生的伴侣。