士仁本是关羽的手下，而且关羽对他非常的信任，并且十分重用于他，士仁是当时镇守公安的守将，公安对于荆州是非常重要的战略之地，由此可见士仁在关羽心中的地位。后来因为不满关羽对他的态度，在吕蒙围杀关羽的时候投降了吕蒙。糜芳在哥哥陶谦死后就投入到了刘备的门下，后来跟随刘备南征北战立下了不少功劳，于是在刘备入川蜀的时候留他一起和关羽镇守荆州，他当时任南郡太守。
他们两人反蜀国是在关羽攻打樊城期间，吴国联合魏国一起围杀关羽。吕蒙在后方偷袭荆州之时两人不战而降，导致关羽被吕蒙所杀。关羽的身死就是蜀国衰亡的征兆，后来张飞身死，刘备伐吴失败，直接让蜀国的势力丧失一半。
他和关羽之死也有一定的关系，他一共背叛过刘备两次。第一次是在刘备刚对峙孙权阶段，不过这次是被吕蒙所蒙骗，后来因为各种原因又回到了蜀国的阵营。第二次背叛蜀国是在吕蒙夺取荆州的时候，不过赫普和上面两人不同，还他是比较效忠刘备的，最起码在众多荆州守将中他是唯一一个和吕蒙死命对抗过的将领之一。
他曾经也是一个忠心蜀国的一位重臣，三十岁就被担任江夏从事，刚上任就整治了附近县得贪污问题，后来因为治理有方在荆州附近名声非常的好。吕蒙占领了荆州后收服了很多官员，潘濬却以身体有恙称病不见。不过后来因为吕蒙亲自去他府上求见而感动无比，最后妥协了吕蒙将荆州的诸多事务一一告诉吕蒙。四人投靠吴国之后，大部分人都没有过得比在蜀国任职的时候好，四人之中只潘濬在更换了主公后，在事业上面平步青云。