麦铁杖是始兴人。勇猛而有膂力，能日行五百里，跑起来可以赶上奔马。粗犷放荡且好酒，喜欢结交朋友，重信义，平常以捕鱼打猎为生，不置产业。
陈国太建年间与人合伙做贼，广州刺史欧阳頠俘获了他，麦铁杖从此沦为朝廷的奴仆，专给陈后主撑伞。麦铁杖常常在陈后主退朝之后，步行一百多里，夜间到南徐州，翻越城墙而入，借灯光打劫偷盗。次日早晨返回时，仍旧替陈后主撑伞。像这样十多次，失主们认出了他，南徐州官府用状子告到陈后主那里。朝中官员见麦铁杖每天早晨都在，不相信他做贼。后来南徐州官员又多次状告铁杖，尚书蔡徵说：“这是可以验证的。”在卫兵们退出的时候，以百金悬赏，招募可以送诏书给南徐州刺史的人。铁杖出来应招，怀揣诏书而去，次日早晨及时回奏。
陈后主说：“的确是徐州官员说的那样，铁杖偷盗之事是很清楚的。”因怜惜他勇猛敏捷，警告后便放他回家了。
隋灭陈后，麦铁杖转入大将军杨素军中，居清流县，屡立战功。恰巧江东谋反，杨素派铁杖到江南去侦察。
麦铁杖头戴草把，在夜间浮水过江，全部弄清贼营情况后回报杨素。后来又再次到贼营窥探，被贼兵捉住，贼帅李棱派三十个军士押送他，绑着准备送给高智慧。押到肻亭，军士们吃饭休息，可怜他饿，解开绑着的手让他吃饭。麦铁杖夺取军士的刀，乱砍押送的军士，直到杀尽为止，然后一一割下他们的鼻子，怀揣而归，杨素十分惊奇。后来论功行赏，却没有麦铁杖，碰上杨素坐驿车回京都，铁杖徒步追随杨素，每夜同宿一店。
杨素发现麦铁杖时才明白麦铁杖的用心，特地向隋文帝请奏授铁杖为仪同三司。但因麦铁杖不识字，放回乡里。成阳公李彻欣赏铁杖勇猛，在开皇十六年(597年)，征召麦铁杖到京城，任命他为车骑将军。仍跟随杨素北征突厥，加封为上开府。
隋炀帝即位，汉王杨谅在并州谋反，铁杖又跟随杨素征讨汉王杨谅，每次作战总是身先士卒，后任柱国大将军。不久调任莱州刺史，但无政绩。转任汝南太守，渐渐学习法令制度，群盗绝迹。
后来上朝，考功郎窦威嘲笑铁杖说：“麦是什么姓?”铁杖应声答道：“麦窦(豆)没有差异，有什么值得奇怪的?”窦威非常羞愧，无言以对，当时的人都认为麦铁杖机敏聪慧。不久麦铁杖又调任右屯卫大将军，隋炀帝对他更加亲密。麦铁杖认为隋炀帝对他恩重如山，常怀尽忠报国之志。
大业八年(612年)，隋炀帝征讨高句丽，麦铁杖请求当前锋。他回头对随从医生吴景贤说：“大丈夫的性命自有所在，岂能去用艾炷烫鼻梁，用瓜蒂喷鼻孔，治黄不差，而死在妇人怀里呢?”将要渡辽河，铁杖对他的三个儿子说：“你们应该准备浅黄色的衣衫。我久蒙国恩，今天应是为国捐躯的时候。我如果战死，你们将会富贵。在忠与孝上，希望你们多努力。”等到渡河时，桥未完工，离东岸还有几丈，高句丽军大批涌来。麦铁杖跳上岸，与高句丽军拼搏，战死。同时战死的还有武贲郎将钱士雄、孟金叉。隋炀帝为铁杖哭泣，赎回铁杖的尸体，下诏说：“铁杖志坚气勇，平素以功著称，这次陪朕讨伐贼人，身先士卒，冲锋陷阵，节高义烈，虽身死而功存。他的誓言至忠至诚，追怀他的平生，让人伤感不已。应赐给他特殊荣誉，以表彰他的功德，可追赠光禄大夫之职，追封宿国公，谥号武烈。”铁杖之子麦孟才承袭爵位，不久授为光禄大夫。麦孟才有仲才、季才两个弟弟，都被拜为正议大夫。隋炀帝还赠钱巨万，为铁杖办丧事，赐鍂车京丧车，前后配有吹鼓手，丧车的竿子上插着羽毛，在平壤被贼军打破的宇文述等一百多人都在车前为铁杖执绳引棺，王公以下的官员送到郊外。