刘春霖家道贫寒，世代为农，其父先后在济南、保定府衙当差。其母亦在知府家中做女仆。刘春霖幼年时跟随父母在济南，因生活困难，6岁时被送回老家，托靠哥嫂抚养，8岁时入私塾读书。他天资聪颖，学习刻苦，深受老师喜爱。后来，父亲把他带至保定，入莲池书院读书，连续攻读十余年，学业长进很快，颇得院长吴汝纶赏识。
光绪三十年(1904)中状元，授翰林院修撰。次年奉派到日本法政大学留学。归国后，历任资政院议员、记名福建提学使、直隶高等学堂提调和保定北洋女子师范学校监督等职。
刘春霖在诗书画上均有极高的造诣，尤擅小楷。晚年的刘春霖其小楷书法有“楷法冠当世，后学宗之”之誉，至今书法界仍有“大楷学颜(真卿)、小楷学刘(春霖)”之说。
刘春霖博学多才，在古文学、史学和金石学等方面都有很深造诣。晚年，他为了生存，坚持以写字卖文筹资。他的书法自成一家，有较大影响。退隐后，以有状元科名，润笔卖字，应接不暇。他的书法圆匀平正，为典型之馆阁体。刘春霖擅长书法，尤以小楷著名，娟秀端庄，流布甚广。时有“大楷学颜(真卿)，小楷学刘(春霖)”的说法。当年，翁同龢见还没有登第的刘春霖的笔墨，曾惊叹不已，预言他将大魁天下。