许衡于金卫绍王大安元年(宋宁宗嘉定二年、元太祖四年)四月初三(1209年5月8日)出生在新郑县城西阳缓里(今辛店镇许岗村)，祖籍怀庆路河内县沁北村(今河南省焦作市沁阳市北鲁村)人，后为避战乱，许衡父母才迁居到新郑。许衡家族世代务农，自幼勤读好学，天资聪颖，七岁时入学，曾问老师为何要读书，老师答曰：“为了考科举。”许衡又问：“仅仅是这样?”老师大为惊异。以后每次讲书，许衡都要问个究竟，以致老师对其父母说：“令郎聪敏过人，我不能胜任，请别求名师。”辞馆而去。像这样连换了三位老师。长大后更加好学，因家贫无钱购书，常涉百里借书抄书。他曾在一个算命先生家中看到一部解释《书经》的书，便去手抄回来细读，后来逃难到徂徕山才得到一部王弼注释的《易经》。当时虽兵荒马乱，许衡仍坚持日读夜思，且身体力行 。天兴二年(1233年)，蒙古兵临新郑县，许衡同众人从洛阳渡河经河阳(今孟县)返乡。
此后，许衡相继至鲁、魏之地，在魏三年后又回到怀庆路，后又常来往于河、洛之间，在柳城从姚枢处得到程颐、程颢及朱熹的著作，从中获益甚大。后移居辉县附近之苏门山时，常与姚枢及窦默讨论学问，内容涉及经传、子史、礼乐、名物、星历、兵刑、食货、水利等众多话题。许衡曾说：“纲常伦理国家一日不可废，如果在上者不履行，我们一般人也要履行。”他在实际生活也正是这样做的。许衡曾赴河北大名府讲学，由于恭谨执教，求学的人很多，并匾其斋为“鲁斋”，从此号称“鲁斋先生”。元宪宗四年(1254年)，忽必烈受封于秦中，召许衡为京兆提学，许衡在京兆的郡县广建学校。忽必烈南征时，许衡返归怀庆，京兆学者挽留不住，只得送至临潼而归。