麦铁杖生于南朝陈太建六年(574年)，年轻时的他就展现出了过人的天赋，特别是在长跑这一方面。但麦铁杖生性豪爽，不愿受规矩约束，便结交了许多的豪杰和游侠，整日与盗匪流寇为伍。正所谓“近墨者黑”，麦铁杖跟他们混熟了以后，也跟着他们干起了偷盗的行当。但法网恢恢，麦铁杖终究还是栽在了广州刺史手里。
按照规定，麦铁杖被罚为官奴，专门在皇帝出门时打伞，勉强也算是国家的人了。但麦铁杖并没有就此金盆洗手，反而同时“打两份工”。皇帝罢朝之后，麦铁杖就不再需要跟着皇帝了。下班之后的他，会步行前往百余里之外的南徐州。因为距离较远，所以也不会有人查到他头上。每天到了南徐州之后，夜色已经降临，麦铁杖便立刻开始偷窃。
麦铁杖与一般小偷不同，人家是生怕被认出来，他却是明火执仗地去抢。南徐州的官府接到受害人报案后，寻便当地，也没有找到麦铁杖。而远在百里之外的麦铁杖，日复一日若无其事的给皇帝打伞。南徐州一户人家因为比较富有，一连十多次受到了麦铁杖的光顾。再加上他不蒙面，所以连主人都认识他了。在告到州里后，刺史确认凶手就是麦铁杖。
但皇帝和大臣们不信这回事：南徐州与京城相距一百多里，哪里有人可以一夜之间往返一趟?对他们而言，麦铁杖天天在自己眼皮子底下，不可能是凶手。但架不住刺史和受害者的确定，皇帝还是决定试探一下麦铁杖，因为他自己也开始好奇了。尚书蔡征花重金，想请人去南徐州投递紧急公文，并带回回文。因为事情紧急，时间只有一个晚上。
众人都以为这不可能完成，即便是骑马也很难赶得上。但不知是计的麦铁杖欣然报名，并按时回来。皇帝和众大臣这才相信他是凶手，但出于爱惜他的本事，并没有重罚他。公元589年，陈便灭亡，16岁的麦铁杖加入了隋军。在杨素手下，麦铁杖屡立战功。杨素向隋文帝给他请功，麦铁杖被授同三司职。可惜的是，麦铁杖大字不识一个，连最基本的事务都无法处理，他也因此被遣返家乡。
文帝和炀帝朝，麦铁杖都立下了赫赫战功。但每次都因为不识字、无法治理地方，被撤职回乡。但麦铁杖还是非常感激隋炀帝的知遇之恩，大业八年(612年)炀帝伐高句丽，麦铁杖自告奋勇愿为先锋。他出征时对儿子说：“我若战死，你们对富贵、孝道不要看得太重，只要有一片诚意就可以了”。但由于隋炀帝的战略错误自己战场上的战术问题，麦铁杖所部被高句丽军全歼，他自己也当场战死，时年38岁。
隋炀帝对麦铁杖的英勇殉国很悲伤，不仅派人带回了他的遗体，还隆重的安葬了他并追赠他为光禄大夫、宿国公，谥号“武烈”，对他的子女们也赏赐了许多财务。麦铁杖是典型的“浪子回头金不换”，从一个偷鸡摸狗的毛贼，成长为了国家的一名猛将。正所谓“英雄不问出处”，麦铁杖的故事至今仍在岭南流传。