张彦远出生世宦书香之家。高祖河东侯张嘉贞，开元年间官至中书令，生平喜收藏书画，善书法，尤长于大字。曾祖魏国公张延赏，大历年间拜中书侍郎同平章事，亦雅善书画，人称“妙合钟(繇)张(怀瓘)”，墨迹高古。其祖父高平县侯张弘靖，累官至刑部尚书同平章事，太子太师。善书法，“书体三变，为时所称。”亦喜藏书法名画，轴帙满架。自张彦远高祖至祖父，一门三代都官至宰相，故当时号“三相张氏”。其父张文规，官至殿中侍御史，“少耽墨妙，备尽楷模，彦远自幼及长，习熟知见”。张彦远初为左补阙，在大中初年(847年)，迁任尚书祠部员外郎，咸通三年(862年)，任舒州刺史，乾符初年(874年)，任大理卿。
张彦远出生在三代相门，钟鸣鼎食的宦族，其家又世代喜好和注意书法绘画的艺术实践和收藏鉴赏，拥有大量的古今字画佳作，几乎可以与皇室的收藏媲美。在这种家庭文化的氛围中，使张彦远在书法及绘画方面，尤其是在书画理论和书画史上取得了很高的成就。
可是，张彦远用力最勤，笃爱成癖的主要还是在书画收藏鉴赏及书画理论、书画史著述方面。他自云：“余自弱年鸠集遗失，鉴玩装理，昼夜精勤。每获一卷，遇一幅，必孜孜葺缀，竟日宝玩。可致者必货敝衣，减粝食。妻子僮仆切切嗤笑。……爱好愈笃，近于成癖。每清晨闲景，竹窗松轩，以千乘为轻，以一瓢为倦。身外之累，且无长物，唯书与画，犹未忘情。既颓然以忘言，又怡然以观阅。”这段自述真实地反映出张彦远对书画艺术热爱之深和在体验艺术的神奇境界时超然物外的胸怀。