窦太后去世后，汉武帝宠信丞相田蚡，逐渐疏远了魏其侯窦婴，因为没有权势，那些门客先后离去，对魏其侯懈怠傲慢起来。魏其侯领受到了世态炎凉，整天闷闷不乐。只有将军灌夫仍保持原来的态度，没有因为魏其侯失势而疏远他。
灌夫的父亲叫张孟，是颖阴侯灌婴的家臣，受灌婴的宠信，被推荐做了二千石级的官。因感恩灌婴，张孟便改姓名叫灌孟。吴楚叛乱时，灌婴的儿子颖阴侯灌何担任将军，是太尉周亚夫的部下，他推荐灌孟做了校尉。灌夫带着一千人和父亲一起从军。
父亲年纪大了，颖阴侯勉强起用他，以致他郁郁不得志，在一次攻打叛军营寨时，不幸战死。当时的军法规定：父子一同从军的，一个战死，另外一个可以随同灵柩一起回家。但灌夫不肯回去，而是悲愤激昂地说：我希望斩下吴王或吴国将军的头，来替父亲报仇。
说完便披铠甲，手拿戈戟，招募军队中愿意跟随的几十个勇士。等到了敌营门时，却没有人敢再前进，只有两个人以及随从的奴仆共十多个人，飞马冲进吴军阵内，一直冲到吴军的将旗之下，杀死吴军将士几十人，实在前进不了了，才飞马驰回，等回到汉营一看，奴仆全部战死，只有一个骑兵跟他回来。
灌夫勇闯敌营虽然回来了，身受重伤十多处。幸好有名医治疗，才得以保全性命。等到伤势稍微好转时，又再次向将军请求道：我现在对吴军军营的底细知道得更加清楚了，请让我再去。将军很欣赏他的胆量和义气，因担心他会送命，就报告了太尉，大尉便坚决制止了他。等到吴军被攻破以后，灌夫也因此名扬天下。
颖阴侯把灌夫的事迹报告给皇上，皇帝就任命灌夫担任中郎将。几个月后，因为触犯法令丢了官。后来到长安安了家，长安城中的显贵，都赞赏灌夫是英雄，愿意与他交往。
景帝时，灌夫官至代国国相。景帝去世后，汉武帝认为淮阳是天下交通枢纽，是兵家必争之地，因灌夫勇猛善战，便任命他为淮阳太守。建元元年，又把灌夫调进京做了太仆。灌夫爱喝酒，与长乐卫尉窦甫喝酒，结果灌夫喝醉了，动手打了窦甫。窦甫是窦太后的兄弟，汉武帝担心窦太后杀灌夫，就派灌夫担任燕国国相。几年后，他又因犯法被免职，闲居在长安家中。
灌夫为人刚强直爽，爱喝酒，不喜欢当面奉承人。对地位在自己之上的皇亲国戚及有势力的人，他却对他们不礼貌，有时还要取笑他们。对地位在自己之下的士人，普通人却很敬重他们，与他们平等相待。在大庭广众之下，特别喜欢推荐夸奖那些比自己地位低的人，因此士人们都很称赞他。
灌夫不喜欢文章经学，爱打抱不平，行侠仗义。答应别人的事，就一定办到。和他人交往的人，无不是豪绅或帮派首领。家中都有几千万的资产，家里的食客少则数十人，多则上百人。
灌夫在居住所在地，修建池塘，田地庄园。他的族人与门客倚仗他的势力，在颖川横行霸道。颖川人为灌夫家族编了首歌谣：颖水清清，灌氏安宁。颖水浑浊，灌氏灭族。
灌夫闲居在家，虽然富有，但失去了权力，依附他的达官贵人，宾朋门客也越来越少。魏其侯窦婴失势后，就想让灌夫去报复那些原先趋炎附势，失势后又抛弃自己的人。灌夫也想依靠魏其侯去结交列侯和皇族，以抬高自己的声望。两人互相倚重提携，关系如同亲兄弟一样密切。彼此心意相投，没有嫌忌，都有些相见恨晚的意思。
灌夫在为亲人服丧期间，有一天去拜访丞相田蚡，田蚡随口说：我想和你一起去拜访魏其侯，却正赶上你现在服丧不便前往。
灌夫说：您竟肯屈驾拜访魏其侯，我灌夫怎敢因服丧而推辞呢！请让我先去告诉魏其侯备办酒席，您明天早点光临。
田蚡答应了，灌夫把田蚡的话详细的告诉了窦婴。窦婴就赶紧和夫人，买了些酒和肉，连夜打扫厅堂，布置帷帐，准备酒宴，一直到天亮。
天刚亮，窦婴就安排府中管事的人到宅前迎接，等到中午还不见丞相田蚡到来。窦婴对灌夫说：丞相难道忘记了这件事。
灌夫也不高兴的说：我灌夫不顾丧服在身，而应他的约，他应该来。
灌夫亲自驾车，前往田蚡府邸去迎接。车到了田蚡家门前，一看田蚡正在睡大觉。田蚡只是戏言答应灌夫，实在没有意思去看魏其侯窦婴。
灌夫进了屋门对田蚡说：丞相昨天答应拜访魏其侯，魏其侯已备办好酒席，翘首盼您到来，你却在家睡大觉。魏其侯从早晨忙到现在，都没敢吃一点东西。
武安侯田蚡一听，吃了一惊，赶紧道歉说：我昨天喝醉了，忘记了跟你说的话。我马上动身，前往魏其侯家。
说完便驾车前往，但车走的很慢，很有一些不情愿的意思。灌夫更加生气，心里骂道：你个混蛋，是你主张要看魏其侯的，我丧服在身替你跑前跑后，你却把答应的事给忘了，真够可以的。
到了魏其侯府邸，窦婴在大门前候着武安侯，把武安侯让进厅堂，按在主席的位置上，丞相田蚡很高兴，酒宴在比较欢乐的气氛中开始了。请客是为了让客人高兴，灌夫因为田蚡忘记了今天的宴请，心里有些怨恨。趁着喝的高兴，灌夫站起身来跳舞助兴，并邀请丞相一起跳。
丞相田蚡没有起身，灌夫觉得丢面子了，一时兴起，竟骂了起来。魏其侯赶紧搀扶灌夫离去，并向丞相田蚡谢罪。魏其侯不断夸赞武安侯，都有些讨好的意思了，田蚡也高兴起来，忘记了刚才的不愉快。他们一直喝到天黑，武安侯才尽兴而去，但与灌夫有了隔阂。