崔林大器晚成，年轻时宗族的人都看不起他，只有堂兄崔琰很赏识他。建安十年(205年)，曹操攻陷邺城，初步平定冀州。征召崔林为邬县长。崔林因为贫穷连车马都没有，只好步行去就任。建安十一年(206年)，曹操亲征壶关，进攻反叛的并州刺史高干。他到达后询问哪位官员最有德政，并州刺史张陟推举崔林，于是提拔崔林为冀州主簿，又调任别驾、丞相掾属。
建安十八年(213年)，魏国建立。崔林逐渐提升为御史中丞。黄初元年(220年)，魏文帝曹丕称帝后，任命崔林为尚书，又出任幽州刺史。当时北中郎将吴质统领黄河以北的军务，涿郡太守王雄对崔林的副官说：“吴中郎将(吴质)是皇上所宠幸的显贵大臣。持节统领军事，州郡官吏无不敬仰他，而崔使君(崔林)却丝毫不与他联系。如果吴质以不整治边塞的罪名杀你，崔林又怎能保护得了你呢?”副官将这番话告诉了崔林，崔林说：“我把脱离幽州刺史这个官职，看得如同脱鞋一样，怎能牵累你呢?幽州与夷狄接壤，应该以温和平静的方法来治理，如果扰乱他们就会逼他们生出叛逆之心，这样便给国家平添北方边塞的顾虑和忧患。”崔林在任期间，北方少数民族没有兴兵叛乱。但最终还是因为不讨好上司，被降为河间太守。人们都为崔林抱不平(一说是尚书令桓阶认为崔林不适合任尚书，才将其迁任河间太守)。
崔林后入朝任大鸿胪。龟兹王派侍子来朝见，朝廷嘉奖他们远道而来，褒赏给龟兹王非常丰厚的礼物。其余的各国都各自派侍子来朝见，来往使节络绎不绝。崔林担心这些国家并不是真心归顺，只是想暂时取得魏国的庇护来对付北方的少数民族，所以才通过互通使节，求得魏国的封号，而朝廷派人一路上保卫护送使者，损失更多。动用人力，花费钱财来做这些无益之事，被夷狄所取笑，这是很久之前就忧虑的事情。于是写信告诉敦煌郡，并记载前代给予诸国赏赐或丰厚、或略薄的旧事，让此事有规定。
黄初七年(226年)，魏明帝曹睿即位后，赐崔林爵关内侯，又转授光禄勋、司隶校尉。崔林在司隶校尉所管辖的各郡免除整肃了许多贪官污吏。崔林为政重诚信，识大体，所以在他离职后，部属官员常常怀念他。散骑常侍刘劭奉命作《考课论》，魏明帝诏令将其下达给各级官吏。崔林对此议论说：“考察《周官》中关于考核官吏成绩的内容，条文已经很完备了，自周康王以后，就逐渐地衰落，这就是为什么考验官吏成绩的法令，因人而生效，因人而失效。到汉末，难道是因为官吏的组织法规不健全而招致失败的吗?现在的军队，有的人鄙陋，有的人胆小如鼠，准备了法令条规，三令五申，但却仍然增减无常，本就难于一致。而且，鱼网张不开就应该去拉动鱼网的总绳，衣服皮毛不整齐时就应该去提起衣领。皋陶在虞作官，伊尹在殷为臣，不仁的人都远远地离去。三皇五帝未必一致，而各有政治的清明与纷乱。《易经》上说‘天下的道理都是浅显易明的’，太祖(曹操)根据情况制定法令，到今天还在使用，也不怕别人说他不效法古人。我认为如今的法令制度，不能说是简略、不精密，而在于坚持如一地去执行而不要放弃。如果朝中大臣都能像仲山甫那样承担重任，即使有一百条法令，又有谁敢不恭敬职守?”青龙二年(234年)，山阳公刘协去世，明帝命使持节行司徒事太常和洽前往吊祭，又命崔林以大司农持节行司空事监护丧事。
景初元年(237年)，司徒、司空的位置都空缺，散骑侍郎孟康上疏推荐崔林道：“宰相，乃是天下人所仰望效仿的对象，确实应该寻求秉公办事、行为端正、品德高尚、主持正义、堪称表率的人来担任。我暗中观察司隶校尉崔林，他秉性正直，胸襟博大。论其长处较之于古代贤人，忠直不阿与史鱼匹敌。任州郡的长官，所在的州郡都得到治理，出任地方官时，管区内和顺整齐。实在是台辅的杰出人选，衮职的良才。”景初二年(238年)，朝廷采纳孟康的建议，在这年便任命崔林为司空，封爵安阳亭侯，食邑六百户。任三公被封为列侯的惯例，从崔林开始。不久，又晋封安阳乡侯。 鲁国国相上书说：“汉朝过去立孔子庙，褒成侯(孔子后代封号)一年四季崇奉祭祀，学校行礼仪，必定祭祀先师(孔子)，由皇家提供祭品，春秋两季举行大祭仪式。如今宗圣侯(曹魏时孔子后代的封号)祠奉孔子的后嗣，却没有祭祀的礼仪。应该给予祭祀用的牲畜祭品，让重臣敬奉祭祀，将孔子尊奉为贵神。”魏明帝命令太尉、司空、司徒三府讨论这件事情。博士傅祗认为，按照《春秋传》上所说享受祭祀的礼仪的要求，孔子是符合条件的。宗圣侯是想承续已经断绝禄位的世家，颂扬孔子的盛德而已。至于显扬孔子的学说，崇敬孔子完美的德行，就应该依鲁国国相上书中所说的那样去做。崔林认为：“宗圣侯也是按照皇命祭祀的，不能说没有皇命。周武王加封黄帝、尧、舜的后代，设立三恪，夏禹、商汤时，没有给当时的三皇后代封王侯名号，又特意命令没有专职的散官去祭祀。如今周公以上，一直到三皇，忽略而不祭祀，而礼仪也还记载在《周礼》之中。现在惟独祭祀孔子，是由于时代相近的缘故。以一个大夫的后代，享受如此无限的祭祀，礼仪上超过了七代的帝王，道义上也超过了商汤、周武，可以说是崇尚光大、报答恩德了，不需要让不是他后代的人再祭祀了。”魏明帝后来又分崔林的食邑，封他的一个儿子为列侯。正始五年(244年)，崔林去世，谥号孝。其子崔述世袭爵位。