黄百韬其父在李鸿章淮军任下级军吏，后并随淮军居家徙居天津。1900年，黄百韬在天津出世。黄家较贫，据称黄也因此消瘦。其在进入中年以后逐渐秃头，诨号“黄秃子”。大约在13岁以后，黄百韬开始在河北工专中学部学习。不久在友人帮助下前往江西投军，辗转来到江苏督军李纯手下当传令兵。因黄做事得力而得到李纯赏识，李不仅将心爱的一个婢女许给黄为妻，而且很快在此婢女的协助下被李保送到其主持的金陵军官教育团学习，期间结识了张宗昌等人。李纯死后，张宗昌率部南征，黄于是投降张宗昌，不久张宗昌兵败蒋介石，所部即被蒋吞并，黄于是随徐源泉投降蒋介石。蒋在北伐期间，其部队曾经遭到黄部的顽强阻击，损失惨重，一度引起蒋之注意，而此时黄仅仅是张麾下的一个营长。因此后来特别受到蒋之召见，并据说给蒋留下了非常良好的印象。
不久黄因战功从参谋升至团长、旅长、师长，期间参与了对江西红军围剿的军事行动，颇有战功。但黄旋即被蒋保送到陆军大学特别班第三期学习，从此失去了兵权，证明此时蒋并不信任黄。黄在陆大与冯玉祥、鹿钟麟等是同班同学，因此毕业后得以任冯玉祥第六战区、鹿钟麟冀察战区参谋长。大约在1940年前后，黄因为一篇军事论文获奖，得到了何应钦的赏识，从此在何应钦的举荐下，到顾祝同第三战区参谋长。黄在三战区主要干了三件事情，一是整顿军纪，二是皖南事变，三是浙赣战役。其中浙赣会战国军的作战计划几乎全出自黄的手笔，此战，中方基本与日军战平。黄无论在六战区，还是三战区，对军事作战均非常积极，经常亲临前线，参与作战的直接指挥工作，甚至视察火线。但黄在三战区的纪律整顿行为，颇不容于当时官僚，于是在1944年顾祝同一方面是讨厌他，另一方面是看重他的才华，举荐他为25军军长。
25军是新组建的部队，同时具有东北军，中央军，川军的背景。 在皖南事变中，25军是围剿新四军的主力，25军后来的许多主官当时都曾参加对新四军的围剿。黄作为三战区的参谋长，参与策划了皖南事变。黄接任的25军军长，面临着国民革命军普遍的贪腐严重，军纪松弛，外强中干，色厉内荏，一触即溃的问题。黄从就任伊始，即大刀阔斧的对25军进行整饬，严肃了军纪，调和了官兵之间的关系，加强训练，其训练效果非常显著，黄以军长的身份，时常深入连队，与普通士兵一起训练，身体力行，加上他廉洁的作风，能与士兵同甘共苦的精神，和卓越的组织指挥才能，25军战力得到了很大的提高，并得到了麾下士兵的普遍尊重。黄还特别针对国军不善夜战和近战的缺点开展有针对性的训练，在黄百韬的努力下，所部不仅军容整齐，且强于夜战和近战，射击搏斗均明显优于普通国军。
国共内战爆发后，25军即被派往苏北，担任了攻坚苏北的作战任务，然而在邵伯之战中，自信不已的25军居然被苏北共军的三流杂牌部队阻挡在邵伯外围，无法突入一步。即便黄最后亲临前线督战，仍无法突破解放军之防线。此时，由于其他各路国军惨败，粟裕已经有围歼25军之势，黄遂迅速率25军撤出。此战25军损失近2000人，歼敌1000余人。 邵伯之战前，焦头烂额的李默庵曾经问黄百韬，攻克邵伯可有困难，黄百韬随意的说，少则三天，多则五天云云。战后，黄百韬自己检讨说，邵伯之战系轻敌所致，责任在己。此后，25军一路陪着苏北国军，先后攻克新安镇等战略要地，并最终攻克苏北，大军进入山东。
在不久之后的南麻临朐战役中，黄曾拼死增援，但黄部在此战中的表现并未能冠全军，当时黄国梁的64师刘镇湘部同样有很好表现。同时，此系列战斗中黄部损失也远没有外间传闻所谓上万伤亡。胶东扫荡成为黄军事生涯上一个光辉的亮点，当时25师雄踞胶东，胶东共军几乎没有与之抗衡的能力。当时25师和64师等齐头并进，重创了胶东解放军。但时因国军在中原战场失利，蒋不待25军将胶东扫荡完毕，即调往中原，此后25军与刘伯承部多次遭遇，均有不俗表现，战功显赫。
黄泛区中原大捷是黄军事生涯光辉的顶点，在解放军所谓豫东战役第三阶段中，黄部本来用于增援衮州，当黄部奇兵突至的时候，粟裕毫无准备，结果将所围国军放出，但粟裕旋即集中兵力猛攻黄部，黄部在连日血战之下，阵地已近崩溃，当此之时，黄以兵团司令的身份亲自带队冲锋，对解放军阵地发动逆袭，极大的打击了解放军士气，终于将阵地守住。同时邱清泉也率部突袭解放军侧背，解放军被迫撤退，并损失惨重。因此役，黄百韬于九月获颁青天白日勋章并被破格擢拔为陆军第七兵团中将司令官。传闻，该晋升引起邱清泉等人不满，并遭中共地下党员刘斐等的离间计，最终造成邱清泉与黄百韬两将领间的失和。