后世对于徐渭此人，流传了许多故事，虽不知这些故事与徐渭本人到底有何干系，但是却也能闲来读之。
冯梦龙的《情史类略》就描写了一个关于徐渭的故事，并且这个故事还涉及某些真实的节点，故事真实性不可性，但是读来还是很有趣的。故事是这样说的，说徐渭中举之后，就到了胡宗宪幕下做事，胡宗宪很信任宠爱他。徐渭有一次出游，到了某一寺庙中，里面的僧侣对徐渭很不礼貌，徐渭就记下了。晚上徐渭留宿妓家，将那妓女的睡鞋偷偷藏在袖中。第二天一早就去见胡宗宪，并对胡宗宪说这个鞋子是他偶然在那寺庙中捡到的。胡宗宪听了之后，大怒，也不详查，当即就捉拿了寺中僧侣几人，砍了头。
徐渭这个人猜忌善妒，原配死了后又娶了一个继妻。有一日徐渭出门归来，从窗中看见一个大约二十多岁的俊美僧人将继妻抱在怀里，两人欢声笑语，好不快活。徐渭大怒，拿着根棍子，就想将那奸夫打死。等他进了门，却不见人，问继妻，继妻感到极为奇怪，并不知他在说什么。
后来他再次出门归来，见着那俊美僧人与自己的妻子并枕而卧，徐渭怒吼一声，拿了个尖锐事物便乱刺一通。最后将他的继妻刺死，徐渭因此被下狱，后有诗《述梦诗》云：“伯劳打始开，燕子留不住。今夕梦中来，何似当初不飞去。怜羁雌，嗤恶侣。两意茫茫坠晚烟，门外鸟啼泪如雨。”“跣而濯，宛如昨，罗鞋四钩闲不着。棠梨花下踏黄泥，行踪不到栖鸳阁。”
买缸
徐渭有一日逛街，见着一个卖缸的，便问这缸对少钱一斤。那卖缸的以为他是外行，于是便想欺诈他道：“一百文一斤”。徐渭点了点头，让卖缸的扛着缸往家里而去，他让人等在外面，自己进去拿了秤砣，出来对卖缸的说：“我只要两斤!”卖缸的一口血都快吐出来了，只能再搬回去。
挑粪
有一日徐渭过桥，见着一个挑粪的农夫。挑着粪过桥，实在不好过，于是徐渭便好心对农民说，他们两人一起将粪抬过去。那农夫想着徐渭是文弱书生，做这些事情实在不好，因此坚决推辞，无奈徐渭固执的要帮他抬，便只得同意了。两人极为费力的将粪桶抬过桥，徐渭喘着气道：“我实在抬不动了，另一桶你自己看着办吧!”那农夫当时的表情，一定是一脸吃了屎的表情。