淮南牛肉汤起源之说，在淮南有多种版本。相传，五代十国的赵匡胤据兵八公山，攻打寿春（安徽寿县），寿春守将刘仁瞻军纪严明，守城如命，尽管赵部顽强作战，仍屡攻不下，久之，外无救兵，内无粮草，赵匡胤反被兵困南塘(今寿县境内)。地方老百姓看在眼里，急在心里，最后把自家耕牛纷纷宰杀掉，煮成大锅汤，送进赵营，官兵喝后士气大振，一鼓作气攻破寿春城。公元959年，陈桥兵变，赵匡胤登基，始终忘不了南塘的牛肉汤，后来在民间把淮南牛肉汤传为“神汤”，又传为“救驾汤”。
淮南学者方川认为，如果说淮南牛肉汤源自赵匡胤，纯属传说，这是民间传说“箭垛式”人物思维模式使然。也就是说当某个传说人物具有某种特定精神品格后，人们就会把与之类似的事件加到他的身上，成为箭垛，还有箭在不断射来，浑身缀满了类似的故事，一如鲁班、阿凡提。因为赵匡胤，成就了“大救驾”糕点，再添一个大救驾的牛肉汤多排场，一干一稀，一软一硬，吃得匀溜舒坦。淮南牛肉汤起源于何时？多年来众说纷纭，淮南作家金妤认为，淮南牛肉汤最早不是汉族人发明的，是民族大融合的产物。在以农耕经济为主的中国，男耕女织是农耕文化的基础和典型表现形式，其中，牛的作用极其重要。牛不仅是农耕文化的一个符号，同时又是运输工具。
正因为牛与人民生活关系这样紧密，自古以来，宰杀牛的行为是受到严格限制的，食用牛肉更是有严格规定：天子祭祀社稷的时候才能用牛、羊、猪，称“太牢”；诸侯祭祀只能用羊和猪，称“少牢”。食用上，周朝礼制规定，天子食用牛；诸侯平时食用羊，朔月（每月初一）才能食用牛；大夫平时食用猪、犬，朔月才能食用羊。
不过，到了元朝，中国民族的大家庭中出现了一个新的成员——回族。公元13世纪，蒙古军队西征，西域人大批迁入中国，吸收汉、蒙古、维吾尔等民族成分，逐渐形成了一个统一的民族——回族。《古兰经》是伊斯兰教信仰和法律的源泉，是穆斯林行为的最高规范。伊斯兰教所倡导的食物，都是“佳美的食物”。“佳美的食物”就是纯洁的、可口的、富于营养的食物，更具体地说就是要有良好的外观形象、鲜香的嗅觉口感和丰富的营养价值。牛，合乎这个标准，所以，成为伊斯兰教规定可以供食的食物。虽然各个朝代政府严禁屠牛，但是对伊斯兰教区还是网开一面，尊重回族人民的生活习惯。
既然牛肉是回族人民餐桌上的食物，作为牛肉的一种烹调方法，牛肉汤早就成为一道常见的菜肴在回族人民中代代流传。淮南牛肉汤起源于淮南的回族人民，是最先迁入淮南的回族先民把他们的传统饮食牛肉汤带入淮南，再加入淮南地区的特色食物——千张、粉丝等，最终融合成一道美味悠长、闻名四方的特色美食。