张若虚的生卒年不详，主要活动在公元七世纪中期至公元八世纪前期，曾任兖州兵曹。事迹略见于《旧唐书·贺知章传》。中宗神龙(705～707)年间与贺知章、贺朝、万齐融、邢巨、包融俱以文词俊秀驰名于京都，《全唐诗》说他与贺知章(越州永兴人，今浙江萧山)、张旭(苏州人)、包融(润州延陵，今丹阳人，一说湖州人)，号“吴中四士”，文词俊秀。开元年间尚在世。
诗歌遭遇编辑在唐代，似乎没有诗集传世。从唐至元，他的《春江》诗几乎无人所重。据文史学家程千帆先生考证，今存唐人选唐诗十种、唐人杂记小说，宋代《文苑英华》、《唐文粹》、《唐百家诗选》、《唐诗记事》，元代《唐音》等唐诗选本，均未见他的诗作。不仅唐诗选本无载，而且在由唐至明的二十余种诗话中也无一字提及。最早收录他的《春江》诗的本子，是宋人郭茂倩的《乐府诗集》卷四十七，共收《春江花月夜》同题诗五家七首，张若虚一首也在其中。明嘉靖年间，李攀龙选编《古今诗删》收录张若虚的《春江》诗，万历年间的三种选本《唐诗所》、《唐诗解》、《唐诗归》，崇祯年间的《删补唐诗脉笺释会通评林》七言古诗、《石仓历代诗选》，明末成书的《唐诗镜》都选录了此诗。最早提及张若虚及其诗的诗话，是成书于万历年间的胡应麟《诗薮》。
及至清代，有关唐诗的重要选本，如成书于康熙年间的季振孙《唐诗》、徐增《而庵说唐诗》、《御制全唐诗》(卷十九和卷一一七)，成书于乾隆年间的沈德潜《重订唐诗别裁》、管世铭的《读雪山房唐诗钞》等等，都收录了他的《春江》诗，有的还附录有关此诗的评论。