据史料考证，秦汉官制设有少府，少府设尚方令，尚方丞，其主要职责就是掌管和制作御刀剑及玩好器物。由于“尚方”所制的宝剑，锋锐无比，利可斩马，所以又被称为“斩马剑”。中国古代非常重视礼法，由于尚方制剑只能由皇室使用，所以这种宝剑从产生之初就被赋予了皇权和特权。
后来，到汉代末期，尚方令又分为中、左、右三尚方，之后历代沿袭。到了唐代，尚方宝剑成了至高无上的象征，本来就是皇帝的御用兵器，赐予元老重臣，则被赋予了特权。
在历史上，有关“尚方宝剑”的出处就源于西汉成帝时。根据《汉书·朱云传》记载，直言敢谏的朱云向皇帝上呈密封的奏章，“臣愿赐尚方斩马剑，断佞臣一人以厉其余”，也就是说他希望皇帝赐给他一把“尚方宝剑”，用以诛杀皇帝的老师安昌侯张禹。
结果，成帝看后大怒日：“小臣居下毁谤上官，公然在朝廷辱骂帝师，罪死不赦!”于是，御史奉命推朱云下殿，欲斩之。朱云死死抓住御殿栏槛不放，栏槛被折断。朱云不但没有得到“尚方宝剑”，反而差点丢了性命，这就是历史上著名的“折槛朱云”的故事。
后来，在汉以后的几个朝代中，用“尚方宝剑”诛杀奸臣贼子仍然只是人们心目中的美好愿望。不过，历史上真正有“尚方宝剑”隆重的授剑仪式，则是从元代开始的。据史料记载，万历二十年(1592年)，宁夏哱拜叛乱，为更好的平定叛乱，万历皇帝向掌管陕西、延、宁、甘肃军务总督的魏学赐尚方剑督战，可魏学虽调兵包围宁夏镇却“惑于招抚”。
无奈之下，万历皇帝便又向甘肃巡抚叶梦熊赐尚方宝剑来代替魏学。此时明军已经围城长达半年之久。叶梦熊决河灌城，并乘哱拜内乱之际，攻破城池，借助尚方宝剑“尽诛拜党及降人二千”，大获全胜。于是，赐“尚方宝剑”让朝廷尝到了甜头，后来便开始频繁起来。