刘祥道，魏州观城人也。父林甫，武德初为内史舍人，时兵机繁速，庶事草创，高祖委林甫专典其事。
以才干见称。寻诏与中书令萧瑀等撰定律令，林甫因著《律议》万余言。久之，擢拜中书侍郎，赐爵乐平男。贞观初，再迁吏部侍郎。初，隋代赴选者，以十一月为始，至春即停，选限既促，选司多不究悉。时选人渐众，林甫奏请四时听选，随到注拟，当时甚以为便。时天下初定，州府及诏使多有赤牒授官，至是停省，尽来赴集，将万余人。林甫随才铨擢，咸得其宜。时人以林甫典选，比隋之高孝基。三年，病卒，临终上表荐贤，太宗甚嘉悼之，赐绢二百五十匹。祥道少袭父爵。永徽初，历中书舍人、御史中丞、吏部侍郎。显庆二年，迁黄门侍郎，仍知吏部选事。祥道以铨综之术犹有所阙，乃上疏陈其得失。