王祥是东汉末年琅玡郡人，他的祖辈曾做过高官，父亲王融没有接受官府的征聘，隐居在家。
王祥生性孝顺。他生母早丧，继母朱氏不喜欢他，多次在王融面前说他的坏话。渐渐地王融也不喜欢王祥了，打发他干一些又脏又累的活计。但是王祥毫无怨言，越发恭敬谨慎。
父母生病，他衣不解带地殷勤伺候，汤药一定要亲自尝后再端上。一次朱氏想吃鲜鱼，正赶上天寒地冻，河水已经结了厚厚的冰， 王祥脱掉衣服想要把冰凿开，下去捕鱼，冰忽然自己解冻，两条大鲤鱼跃上水面，王祥抓住鲤鱼，回家孝敬继母。
汉末，天下大乱，王祥带着母亲和弟弟王览到庐江避难，隐局了三十多年。
后来，今州刺史吕虔知道了王祥是一个仁义君子，就请他做了别驾(官名)，处理州内事务。
吕虔有把好佩刀，工艺精美，锋利无比，他常常以此为荣。有一次拿给技工相看，技工赞叹不已，对吕虔说：
“您这把佩刀是一把宝刀，只有有三公之福分的人才能佩带。”
吕虔思忖良久，想到王祥仁爱孝义，有谋有略，处理政事井别有条，毫不懈怠，将来一定会发迹的。于是，吕虔找到王祥，对他说：
“我这里有把佩刀，是稀世之宝。如果不是可佩的人佩带，刀或许对他有害。阁下谦恭孝义，有经邦纬世之才，将来一定会位至公相，这把佩刀非您莫属，就赠给您吧!”
王祥推辞再三，经不住吕虔诚心相赠，最后只能收下。
当时，徐州盗贼猖狂，王祥率领兵士，讨伐寇盗，辛勤地治理徐州，这一带政化大行，百姓安享太平，称赞他的功绩。后来，王祥的官职屡次升迁，被封为关内侯、万岁亭侯，果然位至三公。
王祥临死时，将兄弟王览叫到床前，把吕虔赠的那把佩刀郑重地赠给了他，说：
“这把佩刀是当年吕公所赠，它激励我勤政爱民，发奋图强，位至三公。现在我把它转赠给你，希望你好好保存。”
王览点头答应。他以兄长为榜样，居官清廉，爱民如子，受到朝廷器重，人民爱戴，后来也位至高宫。
后来，“吕虔佩刀”这一典故，用来形容人官居高位或有高官之望。