汤斌于明熹宗天启七年(1627年)十月二十日生于河南睢州(今河南睢县)。他的祖上汤宽是滁州来安县人，追随明太祖朱元璋起兵，以后世代为官，七世祖汤庠迁居睢州。汤斌出身阀阅旧族，家教甚严，明崇祯十四年(1641年)应童子试，十五岁前读毕《左传》、《战国策》、《公羊》、《史记》、《汉书》等。崇祯十五年(1642年)，李自成率军攻击汤斌的家乡，其母赵氏殉节而死，在战乱环境下成长的他，立下为国为民的心愿。
清顺治九年(1652年)中进士，踏上仕途，选宏文院庶吉士，授国史院检讨。顺治十二年(1655年)，出任陕西潼关道员，为不扰地方百姓，他买了三头骡，主仆各坐一头，另一头驮著两副破旧被褥，一个竹书箱，康熙三年(1664年)，汤斌的父亲过世，他回家守孝三年。康熙五年(1666年)，汤斌拜孙奇逢为师，曾与顾炎武、黄宗羲等学者研读宋明理学。康熙十八年(1679年)，康熙帝下诏举行博学鸿儒科的科举考试，汤斌前去应考，一举拔得头筹，授翰林院侍讲。康熙二十一年(1682年)，充《明史》总裁。
康熙二十三年(1684年)，迁任内阁学士，当时江宁巡抚缺员，朝廷正在荐举合适的人选，康熙帝说：“我听说汤斌有高尚的操行，可以担任江宁巡抚。”汤斌临行时，康熙帝告诉说：“平素听说吴地繁华，如今考察那里的风土人情，崇尚虚华，安于享受，经商的人多，耕田的人少。你应当使当地去掉奢侈的习俗，返归淳朴的民风，每件事都要致力发展农业生产，这样大概可以整治吴地颓废奢华的风气吧。”当初，余国柱任江宁巡抚，淮安、扬州二府遭受水灾，余国柱上疏说：“水退之后，田还可以耕种，第二年应当照例征收赋税。”汤斌派人重新勘察，发现水并没有退去，即使田已露出水面的地方也无法耕种，于是上疏奏请平息原先余国柱的议论。康熙二十四年(1685年)，汤斌呈上奏章说，“苏州、松江土地狭小，人口稠密，可是承担着大省百余个州县的赋税，百姓的财力一天比一天困乏。恳请皇上将苏州、松江的钱粮照征收标准减少一二成。”淮安、扬州、徐州三府再次遭受水灾，汤斌按条目列出减免赋税的事项，请求朝廷拨发五万两银子，从湖广购米赈济灾民。还不等诏令回复，汤斌就前往各州县视察救灾的情况。朝廷获悉汤斌的禀奏后，康熙帝命令侍郎素赫协助他办理救灾事务。常州知府因为对属员失察被降职调任别处，汤斌了解到他很廉洁，就奏请让他留任。康熙帝特别下旨，允许照办。汤斌命令各州县建立社学，讲解《孝经》、小学，禁止妇女四处游荡，官府小吏、市井倡优不准穿皮衣和丝织品，焚毁不健康的书籍。苏州城上方山有座五通神祠，已有数百年.远近的人都争相前往。年轻女子生病，装神弄鬼的人就说五通神要娶她做妻子，生病的女子常常病死。汤斌没收五通神的塑像，木雕的就烧掉，泥塑的就沉到水里，并下令各州县凡有类似的祠堂全部毁掉，卸下原来的材料修建学校。教化得到普遍推行，百姓都心悦诚服。
汤斌刚正不阿，不趋权贵。当时明珠为大学士，在朝中当权，前任江苏巡抚余国柱告诉汤斌，说朝廷免除江南赋税，都是大学士明珠尽力促成的，但汤斌认为是自己的坚持，对明珠毫不理睬。考核官员时，外官纷纷向明珠送礼，却没有汤斌的属员。康熙帝给太子胤礽选择辅导大臣，朝臣中有推荐汤斌的。汤斌将前往京城，苏州百姓哭泣挽留未成，停市三天，拦路烧香为他送行。汤斌上任后，汤斌悉心讲授，尽力辅佐太子，然而胤礽积习已久，成效十分有限。康熙二十六年(1687年)五月，天不下雨，灵台郎董汉臣呈上奏章指责时事，语言触及当权的人。康熙帝让朝中大臣商议，明珠很害怕，担心自己承担罪责。大学士王熙说：“这是市井小人胡言乱语，应立即斩首，事情就可以完结。”汤斌后来也到朝廷，余国柱把这件事告诉他，汤斌说：“董汉臣根据诏旨议论朝政，没有处死的理由。大臣们不敢讲而小臣敢讲，我们应该自我反省啊。”康熙帝最终赦免了董汉臣的罪。
明珠、余国柱对汤斌更加怨恨，摘录他的言论向上禀报康熙帝，并找出汤斌在苏州发布文告中的话“爱民有心，救民无术”，把这作为对朝廷的诽谤，康熙帝传旨责问。汤斌只是说自己天资愚昧，过错很多，请求严加惩处。正赶上汤斌带病入朝，人们道听途说越传越广，听到的人都流下眼泪。住在意城的江南人，要击鼓为汤斌诉冤，后来知道没有这样的事，才散去。不久后，汤斌染上重病，于康熙二十六年(1687年)十月十一日病逝于工部尚书任上，终年61岁。汤斌为官一生，身上仅有俸银八两，其友徐乾学“赙以二十金，乃能成殡”。雍正十年(1732年)，汤斌被平反，一年后入贤良祠。乾隆元年(1736年)，乾隆帝赐予汤斌谥号“文正”。道光三年(1821年)，汤斌得以从祀孔子庙。