常林字伯槐，河内温人也。年七岁，有父党造门，问林：「伯先在否?汝何不拜!」林曰：「虽当下客，临子字父，何拜之有?」於是咸共嘉之。魏略曰：林少单贫。虽贫，自非手力，不取之於人。性好学，汉末为诸生，带经耕鉏。其妻常自餽饷之，林虽在田野，其相敬如宾。太守王匡起兵讨董卓，遣诸生於属县微伺吏民罪负，便收之，考责钱谷赎罪，稽迟则夷灭宗族，以崇威严。林叔父挝客，为诸生所白，匡怒收治。举宗惶怖，不知所责多少，惧系者不救。林往见匡同县胡母彪曰：「王府君以文武高才，临吾鄙郡。鄙郡表里山河，土广民殷，又多贤能，惟所择用。今主上幼冲，贼臣虎据，华夏震栗，雄才奋用之秋也。若欲诛天下之贼，扶王室之微，智者望风，应之若响，克乱在和，何征不捷。苟无恩德，任失其人，覆亡将至，何暇匡翼朝廷，崇立功名乎?君其藏之!」因说叔父见拘之意。彪即书责匡，匡原林叔父。林乃避地上党，耕种山阿。当时旱蝗，林独丰收，尽呼比邻，升斗分之。，依故河间太守陈延壁。陈、冯二姓，旧族冠冕。张杨利其妇女，贪其资货。林率其宗族，为之策谋。见围六十馀日，卒全堡壁。
并州刺史高干表为骑都尉，林辞不受。后刺史梁习荐州界名士林及杨俊、王凌、王象、荀纬，太祖皆以为县长。林宰南和，治化有成，超迁博陵太守、幽州刺史，所在有绩。文帝为五官将，林为功曹。太祖西征，田银、苏伯反，幽、冀扇动。文帝欲亲自讨之，林曰：「昔忝博陵，又在幽州，贼之形势，可料度也。北方吏民，乐安厌乱，服化已久，守善者多。银、伯犬羊相聚，智小谋大，不能为害。方今大军在远，外有强敌，将军为天下之镇也，轻动远举，虽克不武。」文帝从之，遣将往伐，应时克灭。