从十三年(前413年)开始,魏国连年向秦进攻，至十六年，已占领繁庞等地，确立了优势地位，遂将矛头对准中山国(今河北西南部)，积极进行战争准备。他任命名将乐羊为主将，又向赵国(今河北南部、山西北部、河南北部等地)交涉借道。中山国是春秋时期白狄鲜虞建立的国家，都城设在顾。十八年，魏已完全占领了秦的河西地区，又击败宋国，遂命乐羊率领魏军，越过赵国进攻中山。魏军攻入中山国，进抵顾城。中山国君武公得知乐羊前来，便把他在中山国的儿子杀死，割其肉烧汤，并派人送给乐羊喝，以示抵抗的决心。乐羊竟喝其汤，食其肉，表明自己顽强进攻的意志。乐羊指挥魏军，加紧围攻顾城，魏文侯又给予全力支持。中山军拼命抵抗，顽强防守。经过三年作战，中山军力量消耗已尽。二十年，魏军终于攻克顾城，占领中山国全境。魏文侯随即命太子击镇守中山地，而封乐羊于灵寿(今河北灵寿西北)。中山国亡。
魏文侯想要灭亡中山，但因中山国与魏国并不接壤，魏文侯便希望赵国借路给魏国攻打中山国。赵烈侯赵籍想拒绝文侯的要求，大臣赵利得知，便劝说：“魏国攻打中山国，如果不能获胜，必定消耗重大使国力衰弱。假如消灭了中山，因为我国位居中间，也无法长久保留中山的土地啊。”听了这番话后，赵烈侯终于答应借路给魏军。前409年，魏文侯派遣吴起率领魏军攻打中山。
此时翟璜的门客中有名叫乐羊，主动请缨攻打中山。翟璜了解他知道是个将才，虽然他的儿子死于乐羊在中山国为将的儿子乐舒的手中，但是权衡再三下，也向文侯举荐他说：“大王想谋取中山的话，臣推荐乐羊。”魏国文武群臣听说此事后强烈反对，认为让乐羊带兵一定会投降，翟璜以自己的身家性命担保乐羊不会背叛。于是在前408年，魏文侯便拜乐羊为主将领兵进攻中山。
乐羊攻取中山国，包围中山国都-顾有三年之久，中山桓公把乐舒杀死，煮成肉酱送给乐羊。乐羊坐在帐幕下面，把整杯肉酱都吃完了。魏文侯对睹师赞说：“乐羊因为我的缘故，吃了他儿子的肉。”睹师赞说：“连自己儿子的肉都能吃了，还有谁的肉不吃呢?”在文侯十九年(前406年)灭亡了中山国。魏文侯派太子击为中山君，治理中山国境。
乐羊回国之后，对这次的功绩免不了也有些骄横的情绪。文侯知道了，就把乐羊叫到宫里来，把那些毁谤他的信件交给他看，乐羊敢紧跪拜磕头说：“这并不是臣的功劳，而是主君的功劳啊!”魏文侯奖赏他的功劳，把灵寿作为封邑给乐羊，可是从此却不再重用他。 (据史记载：乐羊为燕名将乐毅之先祖。)