《晋书·谢玄传》：“ 玄少好佩紫罗香囊， 患之，而不欲伤其意，因戏赌取，即焚之。”说明谢玄小时候喜欢戴紫罗香囊，这紫罗香囊究竟为何物?为何其叔父不许佩戴?
谢玄年少时，好戴紫罗香囊，腰间垂挂着绣帕之类的物品，谢安以此为忧，但又不想伤他的自尊心，于是在某一次游戏时，将紫罗香囊作为和谢玄博戏的筹码，设法把香囊取到手中，把它烧掉，谢玄从此再也不去佩带这一类物什。
紫罗香囊即用紫罗缝制的香囊，挂着一种叫覆手的饰品，喻指精美之物。其叔父不许佩戴的原因有两种：
据说那时候流行好男风，佩戴紫罗香囊打扮得跟女人一样，谢家子弟将来是要做大事的，绝对不可以这样阴柔，谢安希望谢玄不要沾染那种风气，希望自家的侄子能像个男子汉，担起家门的重责。
另一种说法是，谢玄自幼长在高门士族、钟铭鼎食之家，沾染上贵族男子的习气，好带紫罗香囊，挂着覆手，追比风尚。谢氏家族不乏名士，谢安、谢奕、谢万名闻于世，谢家唯缺将才，谢安一心让谢玄从武，对他人生选择特别关注，谢玄的性格趋向让他很担忧。