出身仕宦
汲黯的祖先曾受古卫国国君恩宠。到他已是第七代，代代都在朝中荣任卿、大夫之职。靠父亲保举，汉景帝时汲黯当了太子洗马，因为人严正而被人敬畏。汉景帝死后，太子刘彻继位，任命他做谒者之官。
东越的闽越人和瓯越人发生攻战，汉武帝派汲黯前往视察。他未到达东越，行至吴县便折返而归，禀报说：“东越人相攻，是当地民俗本来就如此好斗，不值得烦劳天子的使臣去过问。”
河内郡发生了火灾，绵延烧及一千余户人家，汉武帝又派汲黯去视察。他回来报告说：“那里普通人家不慎失火，由于住房密集，火势便蔓延开去，不必多忧。我路过河南郡时，眼见当地贫民饱受水旱灾害之苦，灾民多达万余家，有的竟至于父子相食，我就趁便凭所持的符节，下令发放了河南郡官仓的储粮，赈济当地灾民。现在我请求缴还符节，承受假传圣旨的罪责。”汉武帝认为汲黯贤良，免他无罪，调任为荥阳县令。汲黯认为当县令耻辱，便称病辞官还乡。汉武帝闻讯，召汲黯朝任中大夫。由于屡次向汉武帝直言谏诤，他仍不得久留朝中，被外放当了东海郡太守。
汲黯崇仰道家学说，治理官府和处理民事，喜好清静少事，把事情都交托自己挑选出的得力的郡丞和书史去办。他治理郡务，不过是督查下属按大原则行事罢了，并不苛求小节。他体弱多病，经常躺在卧室内休息不出门。一年多的时间，东海郡便十分清明太平，人们都很称赞他。汉武帝得知后，召汲黯回京任主爵都尉，比照九卿的待遇。他为政力求无为而治，弘其大要而不拘守法令条文。