臧霸是兖青徐交界的泰山人，黄巾之乱起时，投身陶谦破贼，功拜骑都尉。骑都尉本身是禁军官职，放在外部则类似于都督的概念，是一个军权比太守还大的武官。
我们都知道，黄巾乱后提高了刺史州牧的权力，但较少注意到这些军区指挥骑都尉的大量诞生。
丁原、公孙瓒、鲍信都是黄巾后骑都尉。沮授也是冀州骑都尉，早在韩馥时期他就是兵权主管。五子良将的徐晃张辽，也都担任过这种军区指挥骑都尉。
从这些知名人士的经历都可以看出，在黄巾之乱后担任骑都尉的人，都是有本事担任一方军阀，或是左右军阀的强者。
忠于汉室曹操二征徐州，臧霸动也不动，陶谦反而得靠青州小霸王刘备来救援。刘备接任徐州牧，臧霸还是动也不动。一直到吕布上任，臧霸才展开了跟吕布的合作关系。
由于资料算少，我们很难看出臧霸的心里在想什么。若说他是亲袁绍派，吕布占徐州后他不该跟吕布合作。若说他是袁术派，放刘备南下支援陶谦也很奇怪。如果他是大公孙联盟的一员，当时根本就应该亲自攻打曹操。臧霸的定位，非常可能就是汉官，无他。陶谦被曹操打，最开始的原因是陶谦谋反。汉官没有理由救援陶谦。但曹操没有敕令，所以也不会选择帮曹操。反而吕布是朝廷的颍川太守，被曹操打败后退入徐州。比起陶谦刘备私相授受的官职，吕布代行徐州牧更具有合法性。
可曹操最终迎奉了天子，前来消灭吕布。这时候臧霸不敢出手帮吕布了，而曹操获胜后，臧霸更是自认为罪臣藏匿起来。整个脉络来看，臧霸对于朝廷是非常忠心的。
在曹操攻下徐州后，派人找出臧霸，并将青徐二州的治权兵权一并交给他。在官渡之战中，臧霸全面控制东部战线，让曹操能专心在官渡对抗袁绍。
臧霸升迁为徐州刺史，仿佛是在讽刺陶谦一样，臧霸完全各种配合军区指挥官夏侯渊跟大将张辽于禁。徐州完全平定后，臧霸更是全力支援前线对抗孙权的张辽。有多全力?在攻打巢湖时，这个刺史级的大将居然还担任先登部队攻入城中。更与张辽分兵进击，大破吴军。
臧霸在与孙权军的战争中屡建奇功，最终在曹丕称帝后担任执金吾，曹睿继位后更行太尉事。