游民的江湖是被主流社会打压的隐性社会，主流社会是显性社会，由统治者与士农工商构成，主流社会的人们按照统治者所确定的规则公开活动。江湖是不为主流社会的人们所知的隐性社会，它通行的是另外一种游戏规则。江湖人员的构成大多被统治者视为异类、甚至匪类，它的规则又与统治者所允许的规则大相径庭，因此被主流社会打压与排斥就是极其自然的了，自然也就处在潜伏和半潜伏状态了。
一般说来，江湖不是有形的组织，只是一种松散的存在，然而江湖中确有有形的组织，这种有形组织也是秘密的，譬如秘密会社、帮会，另外，各种各样武装团伙、绿林山头等等也都是有形组织。如《水浒传》中梁山泊、二龙山、少华山、清风山、对影山等就是有形的，可是游民奔走觅求生活之路却是一个无形的江湖。宋代往后，越是靠近现代，这种有形的秘密组织的类型就越多。但是江湖所涵盖的远远不止这些。这些都是从事非法活动的游民，江湖中还有一种从事合法活动的游民，比如说评书的，唱戏的，走江湖卖药看病的郎中，他们并不干非法活动，而且他们的服务往往还是生活在主流社会中的人们所必需的。但在统治者眼里，这些游走江湖的人们绝非良民，也是必须提防的异类，有时甚至通过监督或制定严厉法律，把他们的活动限制在一定的范围之内。