东魏北豫州刺史高仲密举成皋入附，太祖率军应之，别遣仲遵随于谨攻柏谷坞。仲遵力战先登，擒其将王显明。柏谷既拔，复会大军战于邙山。十三年，王思政改镇颍川，以仲遵行荆州刺史事。十五年，加授大都督，俄进车骑大将军、仪同三司。梁司州刺史柳仲礼每为边寇，太祖令仲遵率乡兵从开府杨忠讨之。梁随郡守桓和拒守不降。忠谓诸将曰：“本图仲礼，不在随郡。如即攻守，恐引日劳师。今若先取仲礼，则桓和可不攻自服。诸君以为何如?”仲遵对曰：“蜂虿有毒，何可轻也。若弃和深入，遂擒仲礼，和之降不，尚未可知。如仲礼未获，和为之援，首尾受敌，此危道也。若先攻和，指麾可克。克和而进，更无反顾之忧。”忠从之。仲遵以计由己出，乃率先登城，遂擒和。仍从忠击仲礼，又获之。进骠骑大将军、开府仪同三司，领本州大中正，复为三荆二广南雍平信江随二郢淅等十三州诸军事，行荆州刺史。寻遭母忧，请终丧制，不许。
大将军王雄南征上津、魏兴，仲遵率所部兵从雄讨平之。遂于上津置南洛州，以仲遵为刺史。仲遵留情抚接，百姓安之，流民归附者，相继而至。初，蛮帅杜清和自称巴州刺史，以州入附。朝廷因其所据授之，仍隶东梁州都督。清和以仲遵善于抚御，请隶仲遵。朝议以山川非便，弗之许也。清和遂结安康酋帅黄众宝等，举兵共围东梁州。复遣王雄讨平之。改巴州为洵州，隶于仲遵。先是，东梁州刺史刘孟良在职贪婪，民多背叛。仲遵以廉简处之，群蛮率服。
仲遵虽出自巴夷，而有方雅之操，历官之处，皆以清白见称。朝廷又以其父临危抗节，乃令袭爵上洛郡公，旧封听回授一子。魏恭帝初，征拜左卫将军。寻出为都督金兴等六州诸军事、金州刺史。武成初，卒官，时年四十五。赠大将军、华洛等三州刺史。谥曰庄。子恒嗣。起家本县令，入为左侍上士。保定中，授帅都督，累迁仪同三司，出为纯州防主。建德末，位至开府仪同大将军。