灌夫将军是颍阴人.他父亲叫张孟,曾做过颍阴侯灌婴的家臣,因此就用灌家的姓更名为灌孟.吴、楚叛乱时,颍阴侯灌何担任将军,隶属于太尉周亚夫,他向太尉推荐灌孟担任校尉.灌夫带领一千人与父亲一起从军.灌孟年纪大了,每逢作战时,常常攻击敌人的坚固阵地,终于战死在吴军中.按照当时军法的规定,父子一起从军参战,有一个为国战死,未死者可以护送灵柩回去.但灌夫不肯随同父亲的灵柩回去.他慷慨激昂地表示：“希望斩取吴王或者吴国将军的头,来替父亲报仇.”于是灌夫身披铠甲,手拿戈戟,召集了军中素来与他有交情又愿意跟他同去的勇士几十个人.等到走出军门,没有人敢再前进.只有两人和发配到他军中服兵役的十多个囚徒骑兵飞奔冲入吴军中,一直到达吴军的将旗之下,杀死杀伤敌军几十人.灌夫身上十多处受重创.灌夫的创伤稍稍好转,又向将军请求说：“我现在更加了解吴军营垒中路径的曲折,请您让我再回去.”将军认为他勇敢而有义气,恐怕灌夫战死,便向太尉周亚夫报告,太尉便坚决阻止了他.等到吴军被攻破,灌夫也因此名闻天下.
颍阴侯把灌夫的情况向皇上汇报了,皇上就任命灌夫担任中郎将.过了几个月,因为犯法被免职.后来到长安安了家,长安城中的许多显贵没有不称赞他的.汉景帝时,灌夫官至代国国相.景帝去世,当今皇上武帝刚即位,认为淮阳是天下的交通枢纽,必须驻扎强大的兵力加以防守,因此调任灌夫担任淮阳太守.
灌夫为人刚强爽直,好发酒疯,不喜欢当面奉承人.对皇亲国戚及有势力的人,凡是地位在自己以上的,他不但不想对他们表示尊敬,反而要想办法去冒犯他们；对地位在自己之下的许多士人,越是贫贱的,就更加恭敬,跟他们平等相待.士人们也因此而推重他.
