其实，安徒生一生中曾多次萌生过对女人的爱。从25岁到38岁，每两三年他都会爱上一个女人，她们在年龄上大都比安徒生小10到15岁左右，在出身、教养和外貌上都非同一般：有丹麦皇家剧院院长乔纳斯·科林的女儿、18岁的路易丝·科林，著名丹麦物理学家奥斯特的女儿、16岁的索菲·奥斯特，瑞典贵族巴克伯爵的女儿、19岁的玛蒂尔达，被誉为“瑞典的夜莺”的23岁的瑞典女歌唱家珍妮·林德等。安徒生可说是个浪漫的男人，可为什么这样一个男人却一直到老都孤身一人呢?安徒生自己认为，他之所以屡次恋爱而不成功，一是因为相貌丑，二是因为穷。他多次在日记和书信中说过“由于我长得丑并且将永远贫穷，谁也不会愿意嫁给我”“如果我长得漂亮，或者有钱，又有一小间像样的办公室，那我就会结婚成家”等意思相同的话。有些安徒生研究者认为，除以上两个原因之外，“他性格中根深蒂固的自卑感使他不可能与异性建立起恋爱关系，无论合法还是非法的”。
安徒生外貌丑陋是他同时代许多人的共识，但也有人持相反看法。著名丹麦演员卢兹维·菲斯特认为，安徒生少年时期长得不太好看，但成年以后渐渐变得漂亮了。丹麦画家克里斯蒂安·萨特曼也在他的回忆录中说安徒生“有一副令人印象深刻的漂亮外表”。据此我们可以推测，至少在一部分人眼里，成年安徒生长相并不丑，相貌应该不是他恋爱的主要障碍。更何况，人们一般认为，在恋爱婚姻问题上，女人更看重男人的是才华和能力，相貌还在其次。在金钱问题上，陀斯妥耶夫斯基和他的女速记员恋爱、结婚时，并不比安徒生富有。从30岁起，安徒生就陆续出版小说《即兴诗人》和多部童话故事集，并得到出国旅游的政府补贴。所以，安徒生说因为穷而使他恋爱不成功并没有说服力。至于自卑感，虽然他出身于社会下层，但他在青年时期成名，既而名气大振，并逐渐有钱，此时还说“自卑感使他不可能和异性建立起恋爱关系”，恐怕就有些牵强了。笔者认为，安徒生传记《从丑小鸭到童话大师—安徒生的生平及著作》中记录的安徒生童年时期的一次遭遇，很可能是影响安徒生恋爱成功并使他终生未娶的主要原因。
作者写道：“另一个使他迷恋的地方是方济各会济贫院的老人收容所，他敬爱的祖母就在那里干活。她焚烧落叶枯草时，有时把孙子带进围墙里面去，在那里不伤害人的精神病患者可以自由走动。在这样近的距离看见那些精神失常的人，使他既兴奋又害怕。有一次，他甚至冒险走进通往关着危险病人房间的走廊。透过一扇门上的裂缝，他看见一个一丝不挂的女人坐在一堆草上，头发散乱地披在双肩上，在大声唱着什么。突然，她站起来，随着一声狂叫冲向他正在后面观望的那扇门。门是锁着的，但送食物的小窗突然打开，从中伸出她的那只手臂，伸向那个受惊的小男孩。等护理病人的护士赶来时，他已吓得半死。”
笔者认为，这个事件绝非无足轻重，它对安徒生的一生有着巨大、深刻而久远的影响。那个肮脏而丑陋的老女人的裸体的可怕印象，对童年安徒生的心灵形成强大冲击，并成为在那之后安徒生心理上一种强大的力量，潜抑在他的潜意识里，无意识地控制着他对女人的感受。而在安徒生的潜意识里，那个裸体疯女人的可怕形象就是一切成年女人的肉体替代物。
安徒生这部自传写于27岁，书中提到的“对超过20岁的女孩总会有一种难以名状的厌恶感，和她们在一起，我真的会发抖”应该是他童年和少年时期的事。可是成年以后，他潜意识里那个“一切成年女人的肉体的替代物—可怕的裸体疯女人”的记忆仍然存在，并且成为他惧怕和任何女人进行肉体接触的强大的无意识力量。这才是安徒生恋爱总也不成功的真正原因—在追求女人的同时，他又总是下意识地躲避女人。如果说，安徒生真的是“为了创作童话而牺牲了自己的幸福”，那么也应该承认，安徒生创作的动机与其说是为了实现其艺术理想，倒不如说是为了他从少年时代起就一心想摆脱自己卑贱出身而踏入上层社会的强烈欲望。