古时候，有一对夫妻，妻子是一位家庭主妇，长的是如花似玉，娇艳动人。平时在家里做些针线活计，不常出门。但因生得貌美，总有一些人觊觎其美色。丈夫是一个生意人，经常外出做生意，两口子的日子过得也富裕。但在丈夫外出的日子里，妻子就不免难耐寂寞。终于有一天，妻子忍不住跟街市一个卖布的勾搭上了，在丈夫外出做生意之际，他们就巫山云雨地在一起厮混，从未被丈夫发现。有一次，丈夫在家中呆了两个月都没有外出，急得卖布之人团团转。
终于有一天，丈夫骑着马到城外打猎去了，经过街市，那卖布的见了非常高兴，以为他又要外出做生意，当晚就迫不及待地潜进相好的卧房，准备和她幽会。可不巧的是当晚丈夫就回来了，几乎将他逮了个正着，妻子也吓了个半死，那卖布的只好哆嗦在人家的床底一整晚。这件事后，妻子便从卖布人那里要了一块绿色的布料，为丈夫做了一顶帽子，并和他约定好：“当你看见我丈夫戴上绿帽子外出的时候，你就可以来了。”过了几天，丈夫又要外出做生意了，妻子赶紧拿出那顶绿帽子对丈夫说：“外面的风沙大，戴上帽子就不会弄脏头发，而且绿色使你看起来更加帅气。”丈夫听了很开心，以为自己真的很俊，于是高高兴兴戴上那顶绿帽子出发了。当晚，他们就又厮混在一起了。以后，那个卖布的只要见了那丈夫戴着绿帽子外出时，心里都不禁心花怒放。于是，“戴绿帽子”的说法就这样流传下来了。