在福建巡抚任上，张伯行兢兢业业，明察秋毫，抑恶扬善，造福百姓，使得全省风气大变，官清民乐。
张伯行在福建巡抚任上为民做了很多好事，最主要的就是买粮抚民。福建地方人多地少，每年的粮食要从他省购买，但前几任官员从不过问此事，致使奸商乘机囤积居奇，贱买贵卖，牟取暴利。百姓则深受其害，叫苦不迭。张伯行经过调查，弄清原委之后，当即决定由政府从江西等地买来粮食，再平价卖给百姓。这样一方面使百姓免受奸商盘剥，另一方面也可以赚些钱用在下一年买粮济民上。此外，他还以身作则，捐献衣物钱财，赈济一些受害的百姓。在他任职期间，百姓没有因灾荒和饥饿而背井离乡。
到康熙四十八年，张伯行奉旨调任江苏巡抚，福建的百姓痛哭相送，如失青天。赴任后，张伯立即发布檄文《禁止馈送檄》，严禁下属馈送钱物，以整顿当时日益盛行的贪腐之风。文中写道："一黍一铢，尽民脂膏。宽一分，民即受一分之赐;要一文，身即受一文之污。虽曰交际之常，于礼不废。试思仪文之具，此物何来?本都院既冰蘖(音聂)盟心，各司道亦激扬同志，务期苞苴(音居)永杜，庶几风化日隆。"对于百姓所得张伯行视为民脂民膏，力求赋税宽简。平常公务也杜绝礼品，不受一分一毫。
有的州县官吏为了考科成绩，以利升迁，就不顾百姓困苦，任意加重赋税，百姓不堪忍受。张伯行果断地废除了许多的苛捐杂税。因为和总督的矛盾很深，备受压制，在康熙四十九年，即1710年，张伯行以病为理由请求退休。
康熙爱惜人才，不准他退休："张伯行操守清洁，立志不移，朕所深悉。江苏重地，正资料理，不得以衰病求罢。"张伯行只好忍辱负重，继续任职，为民为国尽力。
在康熙五十年，江苏乡试发生了作弊案，副主考赵晋内外勾结串通，大肆舞弊，发榜时，苏州士子大哗。康熙皇帝命令张伯行、噶礼同户部尚书张鹏翮、安徽巡抚梁世勋会审此案。由于牵涉到噶礼受贿银五十万两，案子错综复杂，审理一个多月竟然没有任何结果。