名士王述是谢万的岳父，三十多岁时还没出名，有人就埋汰他痴傻，后来他得到丞相王导的赏识才逐渐知名。谢万瞧不起王述，曾戴着白头巾去王述家走亲戚，一见面就说：“我老听人家说岳丈傻，今天一看，确实傻!”王述没跟他一般见识，淡定地说：“好像是有这样的风言风语，主要因为我大器晚成罢了。”
谢万看不上岳父，同样也被他人看不上。陈郡谢氏虽是世家大族，但毕竟根底较浅，因此常被一些老牌贵族子弟嘲讽为暴发户。
谢万经过吴兴，让谢安陪他去拜访王导的儿子、吴郡太守王恬，谢安断然拒绝—去了也白去，人家不会睬你。谢万不信，非要前去，结果被人家晾到一边。他委屈极了，在谢安面前哭了半天。
名士阮裕去拜访谢安，正好谢万也在。其间谢万突然内急，竟当着客人的面向佣人要尿壶。阮裕嫌弃地说：“就不能憋一会儿?暴发户就是上不了台面!”谢安大囧，忙为谢万打圆场。
谢安确实为这位兄弟花费了很多心思：谢万爱睡懒觉，他就每天早晨叫他起床吃饭;朝廷派谢万率军北伐前燕，他不放心，便一路随行。谢万还真不是统帅的料，只顾吟诗咏叹、风流自赏，从不跟将士交流感情。
谢安一再说：“你是三军统帅，要笼络人心。”谢万听后马上召集众将开会，结果连一句抚慰的话都讲不出，憋了半天才用铁如意指着众人说：“你们都不错，都是勇猛的老兵!”当时称人“阿兵哥”跟指鼻子骂娘基本是一个意思，大家气得差点跟他拼命。幸亏有谢安给他擦屁股，一一安抚那些将领，并代他向他们道歉。而谢万在谢安的庇佑下过得优哉游哉，后来北伐失败，谢万狼狈窜逃，众将都想除掉他，看在谢安的面子上才没动手。
即便在逃命时，谢万还要摆谱，非要找自己的玉马蹬，找不着就不上马。谢安一向宠他，这时也忍不住了，说：“也不看看啥时候了，不要命了吗?”
谢万的摆谱由来已久。他年轻时，听说有人送给谢安一件皮裘，就惦记上了，大冬天穿件薄衫去找谢安。谢安很了解他的虚荣心，故意说：“你不是怕冷吗?绵最保暖了，我送你30斤绵，拿去做个坎肩吧!”谢万愣在当场，不想要又不敢发作，只好垂头丧气地抱着绵走了。
平心而论，谢万并非一无是处，起码很有雅量。高僧支道林学问高、人缘好，一次他要远行，一众名士都去给他送行。蔡系去得早，座位离支道林近些;谢万去得晚，无法跟支大师近距离接触，百爪挠心。其间蔡系离座到处敬酒，谢万趁机坐上蔡系的座位。蔡系敬完酒回来，一把把谢万连同坐垫拨拉到一边，自己坐了回去。
谢万被推了个大马趴，连帽子和头巾都歪了，但他并没生气，慢慢站起来，拍拍衣服，戴正帽子，回到自己原先的座位。随后，谢万小声对蔡系说：“你真是个怪人，差点把我的俊脸弄伤了。”蔡系也绝了，嘴一撇，说：“本来就没管你的脸。”谢万苦笑，这事居然就这么过去了。