公孙胜是梁山好汉里最有仙风道骨的人物。与智多星吴用皆是梁山的高级谋士，但吴用没有他那么神秘。吴用是个读书人，与公孙胜的出神入道不同，他有传统士大夫建功立业的梦想。这就决定了，他们在宋江上山后的不同反应。梁山泊最聪明的两个人在宋江上山后，就看出“一山不容二虎”的态势，而他们也选了不同的路。
在《水浒传》第四十二回，宋公明被晁盖等众位好汉营救上了梁山，当日便杀牛宰马，尽醉方散。第二日又大摆筵席，庆贺宋公明上山。第三日，又做宴席，在众英雄喝酒吵闹之际，入云龙公孙胜忽然动了一个念头，想念在蓟州的老母亲，离开家这么久，也不知老母身体怎么样，便萌生归意。
公孙胜起身对众头领说：“感蒙众位豪杰相带贫道这么多天，恩同骨肉。只是小道自从跟了晁天王到梁山，日日宴饮，不曾还乡。蓟州还有老母健在，也担心我的师傅想念。所以想回老家探望一凡。暂别众头领三五个月，再回来相见，免得老母挂念悬望。”
晁盖说：“以前就听先生说过，令堂让在北方无人供养。今天既然提出来了，于情于理都不便阻挡，只是内心不忍分别。虽说要走，也得等明日兄弟们给你践行。”
次日早，就在关下摆上宴席，给公孙胜送行。只见公孙胜一身云游道士的打扮。
晁盖：“一清先生，此去难留，但你不可失信。百日之外，还望你能驾鹤归来，不要爽约啊。”
公孙胜：“承蒙各位头领看得起，小道岂敢失信。回家参拜过授业师傅，安顿好老母，便回山寨。”
宋江：“先生何不带上几个人过去，一起请令堂上山寨来，这样也能早晚侍奉。”
公孙胜：“老母平生只爱清幽，受不了惊吓，因此不敢接她上山。何况家中也有田产山庄，老母能自行料理。小道只是去看看她老人家，回来咱们兄弟再聚。”
宋江：“既然如此，悉听尊便。只盼望兄弟能早早归队。”
说完，公孙胜接受了晁盖赠的一些路费。别了众人，便向蓟州去了。
在宋江上山的第三天，公孙胜便着急着要下山，因为以公孙胜的聪明才智，他已经看出来“一山不容二虎”的形势，晁盖只是一江湖上的义士，有匹夫之勇，而宋江才是能成事的领袖，他们就像项羽和刘邦一样，在梁山一把手的问题上，注定是要有一番不和谐的因素出现。
晁盖有英雄气质，但在宋江上山后，力量上明显处于劣势。他的嫡系部队也不过是阮氏三雄、赤发鬼刘唐，还有一个不入流的白胜。吴用为了自己的理想，选择脱离晁盖，倒向宋江，而公孙胜则选择脱离组织，以奉养老母为名，远离争斗。宋江则是众英雄归心的领袖，自从杀了阎婆惜被发配后，一路上认识了柴进、武松、孔明、孔亮、花荣、王英、燕顺等英雄，后在白龙庙聚义时，又有戴宗、李逵、张横、张顺、李俊、童威、童猛等一大批猛将。这些都是宋江的嫡系部队。在宋江上山后，梁山第一把交椅的人选，实在微妙。
所以公孙胜才选择暂时离开，两面不得罪。
公孙胜在尘埃落定后，又被宋江请出山林。尽管没有像公孙胜预料的那样发生冲突，也只是由于晁盖的中箭早亡才最终避免了这场权力火拼。