这个成语的出处在《旧唐书·长孙无忌传》，原文是这样的：“ 褚遂良学问稍长，性亦坚正，既写忠诚，甚亲附於朕，譬如飞鸟依人，自加怜爱。”
当年，褚遂良是唐朝著名书法家，他的书法博采众长，变化多姿，自成一家。因为精通书法，被魏征推荐给唐太宗，并受到太宗的赏识。
唐太宗任命褚遂良担任起居郎一职，专门记载皇帝的言行起居。有一次，唐太宗问褚遂良：“你每天记载我的言行起居，我可以看看吗?” 褚遂良回答说：“如今设立起居郎的职务，如同古代的史官，善行恶行 都要记录在案，以督促皇帝不犯错。我从未听说皇帝本人要看这些内容的。”唐太宗又问道：“如果我有不好的言论、行为，你也要记下来吗?”褚遂良回答说：这是我的职责所在，您的一言一行，我都要记下来。”
不久之后，唐太宗对长孙无忌说：“我今天要当面评论你们的功过得失，引以为鉴，使你们警惕。说者没有过错，听者自己改过。”说完他就看着长孙无忌说：“你善于避嫌、随机应变，但是领兵打仗不是你的长项。高士廉博览群书，悟性很高，临危受难不变节，做官也不拉帮结派，但是缺少直谏的勇气。”唐太宗将朝中大臣评论一番，最后说到了褚遂良。唐太宗就说了本文开篇的那段话，用现在白话说的意思就是：
“褚遂良在学问方面大有长进，性格很刚直，对朝廷忠心，对我很有感情，平时一副飞鸟依人的模样，我很是怜爱他啊!”小鸟依人成语由此而得。