胡质，字文德，寿春(今安徵寿县)人。胡质年轻时与蒋济、朱绩齐名。在长江、淮河一带很有影响，在州郡任职。后来蒋济任别驾，出使见曹操。曹操问：“胡敏年岁较大，该有子孙了吧?”蒋济说：“有个儿子叫胡质，处理大问题不如父亲，但处理细小事情心细超过父亲。”于是曹操召任胡质为顿丘(今河北馆陶县)令。县里有个叫郭政的人与堂妹通奸，杀害了堂妹的丈夫程他。郡吏冯谅被关在监狱作证人。郭政和堂妹忍受拷打赖罪，冯谅不能忍受拷打，只好诬陷自己。这样便是无罪人成有罪人，而将被判处。胡质到官，细致观察情色，追究根底，终于水落石出，人们无不称服。
后为丞相东曹议令史，州里请他任治中。将军张辽与其护军武周有矛盾。张辽见到刺史温恢，请胡质出任幕僚，胡质以病推托。张辽对胡质说：“我有心任你作官，你为什么辜负我的厚意呢?”胡质说：“古人相交，看他索取很多，但仍相信不贪;看他临阵脱逃而仍相信他不怯，听说流言而不为所动，这样交情才可以长久啊!武周身为雅洁之士。以前您对他赞不绝口，而今只为一点小事，就酿成矛盾。何况我胡质才能浅薄，怎么能始终得到您的信任呢?因此我不愿意就职。”张辽很受感动，与武周重归于好。曹操召任胡质为丞相属。
黄初年间，转任吏部郎、常山太守，后迁任东莞太守。士人卢显被人杀害，胡质说：“这个人似乎没有仇人，只有一个年轻的妻子，因为这而死吗?”于是逐一召见与卢显相邻近居住的年少之人。问到书吏李若，发现他气色不对，于是胡质追究到底，李若只得自首，受到惩罚。胡质每每得到赏赐，都分给众人，从不收藏家中。在郡任职九年，吏民安居乐业，将士恭敬从命。
后来胡质迁任荆州刺史，加振威将军封号，赐爵关内侯。正始二年(241年)，东吴将领朱然围攻樊城，胡质率轻兵增援樊城。很多人都认为，吴军兵多，不宜率兵进逼。胡质说：“樊城地势低下，兵力又少，所以应当进军给予外援，否则，樊城就危险了。”于是胡质率兵到围城的吴兵外围，稳定了城内人心。不久太傅司马懿率兵解围。后又迁任东征将军，假节都督青州、徐州诸军事，任内鼓励农耕，令粮仓有多年的储藏，又设置东征台，一方面用作耕作，另一面则用作军事驻防。又与诸郡通渠，方便船只航行，严防东吴攻击。而沿海则一片安定。
胡质性情深沉，好深思，不以自己的标准去衡量他人，因此得到他人的爱戴。嘉平二年(250年)去世。家里没有什么财产，只有皇帝所赐衣物和书厨。军师把这些情况报告给朝廷，追封他为阳陵亭侯，食邑百户。谥号贞侯。由其子胡威继承爵位。嘉平六年(254年)朝廷下诏追思并褒奖徐邈、胡质和田豫清正节俭的行为，赐三人家室二千斛谷和三十万钱，并布告天下。