据记载，公元520—526年，达摩自印度航海来到广州，倾心佛学的南朝梁武帝萧衍派人专程迎达摩到南京，仪式十分隆重。
禅宗六祖慧能所著的《坛经》里记载了梁武帝与达摩见面后的对话。梁武帝问：“朕即位以来，造寺、写经、度僧不可胜数，有何功德?”可达摩却说没有功德，因为梁武帝修的只是福德或福报;又直言“净智妙圆，体自空寂。如是功德，不以世求”。这句话的意思是，“完成自我、净化自我，又净化他人，普度众生”才是功德。这样的功德，不是靠世俗的有为来求得的。
双方话不投机，达摩不辞而别。事后，梁武帝把他与达摩的问答告诉宝志禅师。宝志听后说，达摩的开示很好，是观音菩萨乘愿再来，传佛心印。
梁武帝深感懊悔，得知达摩离去的消息后，马上派人骑骡追赶。追到幕府山中段时，两边山峰突然闭合，一行人被夹在两峰之间。达摩正走到江边，看见有人赶来，就在江边折了一根芦苇投入江中，化作一叶扁舟，飘然过江;并北上北魏都城洛阳，后来经面壁九年修炼，成为我国佛教禅宗的开山祖师，并成就了嵩山少林寺。因此，人们仍把幕府山的这座山峰叫做夹骡峰，把山北麓达摩休息过的山洞称为达摩洞。
今日江北长芦禅寺内的一苇堂，就是为纪念达摩渡江后参拜长芦寺而建的。达摩“一苇渡江”后，在江北长芦寺停留，后又至定山寺面壁修行。定山寺至今留有“达摩岩”、“宴坐石”、达摩画像碑等遗迹。其中，达摩画像碑为国内最早的达摩造像碑，比嵩山少林寺的祖师碑要早120多年。定山寺成为禅宗重要丛林，被誉为“达摩第一道场”。
乾隆曾在永济寺三寻生父
相传清朝乾隆皇帝曾五下江南，两次登上幕府山，留下了许多诗词，他曾赞幕府山“建幕当年识茂宏，渡江事业赖经营。济时宜进曹樊辈，乃在贺循与顾荣”。观音山“玲珑悬峭壁，漩复带长江。幕府遥开璋，楼船正挂双。涛声在几席，烟景暗轩窗。苇渡西来意，长明珠殿”;游观音山永济寺“绿壁飞楼铁锁牵，下临无地上惟天。须弥海水依空住，枣叶龙宫现偶然”等诗词。
此外，该山的石棋盘、虎跑泉、青牛脚印、化龙缝、一笔寿等景点都有各自的传说。乾隆皇帝永济寺内三寻生父、唐伯虎船泊燕子矶错过红颜知己、朱元璋为修建南京城墙的村子御赐“窑上村”一名等民间故事，更是动人，流传千古。