阿合马早年生平不详，只知他是察必皇后的父亲按陈那颜的陪嫁奴隶。中统三年(1262年)，忽必烈任命他兼管中书左右部，兼任诸路都转运使，专门委任他处理财政赋税方面的事。阿合马上奏忽必烈下令分条规划，向各路运司宣布晓谕。中统三年(1263年)，因为河南钧州、徐州等州都有炼铁设备，请朝廷授予宣牌，以振兴冶炼的利益。忽必烈把开平府升格为上都，又任命阿合马为同知开平府事，兼管中书左右部照旧不变。阿合马上奏请求任命礼部尚书马月合乃兼管已经清查到的三千户没有户籍的百姓，加强炼铁行业，每年上缴铁一百另三万七千斤，用这些铁铸锻农具二十万件，换成粮食上缴给公家的一共有四万石。
至元元年(1264年)正月，阿合马上奏说：“太原的百姓熬煮私盐，越境到处贩卖。各地百姓贪图他们的盐价钱便宜，争相购买食用，解州的官盐因此而卖不出去，每年上缴的盐税银子只有七千五百两。请朝廷从今年开始增加太原的盐税银子五千两，不论和尚、道士、军士、匠人等各户、都要分摊缴纳盐税，民间通用私盐可以根据他们自己的方便。”这一年秋天十一月，裁撤领中书左右部，合并到中书省，越级任命阿合马为中书平章政事，进官阶为荣禄大夫。