马文升生于河南钧州(今河南禹州市)，后落籍虞城。祖上均未入仕，但马文升幼时就显示出对兵事的兴趣。“尝与群儿戏，十数为群，角之靡不仆”。景泰二年(1451年)，马文升考中进士，授御史。先后巡按山西、湖广，“发奸擿伏，有神君之称”。服毕母亲的丧事之后，擢迁福建按察使。福建任上，严惩当地贪暴狂徒冯某。离开福建时，闽人传唱“马使留来天有眼，冯公布去地无皮”以表示对他的称颂。 成化元年(1465年)，升南京大理寺卿。次年以父丧归。
成化四年(1468年)，西北土达满四在距平凉千里的石城起兵反明，响应者甚众，远近震动。他们大败官兵，明廷不得不采取大规模的军事行动，调陕西三边兵五万人及京营兵进剿，以署都察院事的副都御史项忠总督军务，起用马文升，以右副都史巡抚陕西，协助项忠。马文升看到满四军有一个弱点：城中无水，粮储渐乏，“若绝其刍汲，则釜鱼当自毙矣。”果然，满四军日渐困乏，最后失败。马文升又建议项忠尽毁石城墙垣，以防后患。他在陕西巡抚任上七年多，先后加左副都御史、兵部右侍郎，逐渐成为处置边事的专家。他的一项主要成就，是整顿与各部的茶马贸易，换取番马八千余匹。