名闻天下
灌夫的父亲是张孟，曾经做过颍阴侯灌婴的家臣，受到灌婴的宠信，便推荐他，官至二千石级，所以用灌氏家的姓叫灌孟。吴楚叛乱时，颍阴侯灌何担任将军，是太尉周亚夫的部下，他向太尉推荐灌孟担任校尉。灌夫带领一千人与父亲一起从军。灌孟年纪已经老了，颍阴侯勉强推荐他，所以灌孟郁郁不得志，每逢作战时，常常攻击叛军的坚固的阵地，因而战死在吴军中。按照当时军法的规定，父子一起从军参战，有一个为国战死，未死者可以护送灵柩回来。但灌夫不肯随同父亲的灵柩回去。他慷慨激昂地表示：“希望斩取吴王或者吴国将军的头，以替父亲报仇。”于是灌夫披上铠甲，手拿戈戟，召集了军中与他素来有交情又愿意跟他同去的勇士几十个人。等到走出军门，没有人敢再前进。只有两人和灌夫属下的奴隶共十多个骑兵飞奔冲入吴军中，一直到达吴军的将旗之下，杀死杀伤吴军几十人。不能再继续前进了，又飞马返回汉军营地，所带去的奴隶全都战死了，只有他一人回来。灌夫身上受重创十多处，恰好有名贵的良药，所以才得不死。灌夫的创伤稍稍好转，又向将军请求说：“我现在更加了解吴军营垒中路径曲折，请您让我再回去。”将军认为他勇敢而有义气，恐怕灌夫战死，便向太尉周亚夫报告，太尉便坚决地阻止了他。等到吴军被攻破，灌夫也因此名闻天下。
宦海沉浮
颍阴侯把灌夫的情况向汉景帝汇报了，汉景帝就任命灌夫担任中郎将。过了几个月，因为犯法而丢了官。后来到长安安了家，长安城中的许多显贵没有不称赞他的。汉景帝时，灌夫官至代国国相。
汉景帝后三年（前141年），汉景帝驾崩，太子刘彻即位，是为汉武帝。汉武帝认为淮阳是天下的交通枢纽，必须驻扎强大的兵力加以防守，因此调任灌夫担任淮阳太守。
建元元年（前140年），又把灌夫内调为太仆。
建元二年（前139年），灌夫与长乐卫尉窦甫喝酒，灌夫喝醉了，打了窦甫。窦甫，是窦太后的兄弟。皇上恐怕窦太后杀灌夫，调派他担任了燕（yān，烟）国国相。几年以后，又因犯法丢官，闲居在长安家中。
灌夫家中职累的资产有几千万，每天的食客少则几十，多则近百。为了在田园中修筑堤塘，灌溉农田，他的宗族和宾客扩张权势，垄断利益，在颍川一带横行霸道。颍川的儿童于是作歌唱道：“颍水清清，灌氏安宁；颍水浑浊，灌氏灭族。”