《隋书·张胄玄传》 称其“博学多通，尤精术数”。张胄玄经冀州刺史赵煚推荐，隋文帝年间，征为云骑尉，供职于太史监，参与制定历法。张胄玄是天文学家祖冲之的学生。他知识渊博，历法研究成果显著，受到太史令刘晖嫉妒。刘晖预测天象不准确，张胄玄预测却十分精微。为辨二人学识，文帝组织太史监官员，对过去没有结论的61个疑难问题进行论证。届时答辩，刘晖沉默不语，张胄玄思路清晰，旁征博引，立解疑难54件，受到朝野称颂。
隋文帝十分高兴，下诏说：“朕欲应运受图，君临万宇,思欲兴复圣教，恢复令典，上顺天道，下授人时，搜扬海内，广延术士。云骑尉张胄玄，理思沉敏，术艺宏深，怀道白首，来上历法。令与太史旧历，并加勘审。仰观玄象，参验璿玑，张胄玄历数与七曜符合，太史所行，乃多疏舛，群官博议，咸以胄玄为密。太史令刘晖，司隶郭翟、刘宜，骁骑尉任悦，往经修造，致此乖谬。通直散骑常侍、领太史令庾季才，太史丞邢俊，司历郭远，历博士苏粲，历助教傅俊、成珍等，既是职司，须审疏密。遂虚行此历，无所发明。论晖等行状，已合科罪，方共饰非护短，不从正法。季才等，附下罔上，义实难容。”将刘晖等造历法的四人除名，庾季才等六人解职，下令实行张胄玄历法。同时提拔张胄玄为员外散骑常侍、太史令，赐绢千段。张胄玄一生著作很多，有《七曜历数》5卷，《大业历》1卷，《元历术》1卷。
现代史家对张胄玄《大业历》给予很高的评价。《中国通史》指出，开皇十七年(597年)颁用张胄玄新历。大业六年(610年)张胄玄修改了自己历法中的许多数据颁行于世，为《大业历》。大业历的回归年长365又42640分之10363天，朔望月长29又1144分之607天。采用破章法，在410年中设置151个闰月，定岁差为83年冬至点西行一度，考虑了太阳视运动的不均匀性和月球视差对交食的影响，其行星会合周期的数值也十分精确，例如所定金星的数值是583.922日，与今采用值相同，并将原定冬至点起虚五度改为起虚七度，使大业历成为隋代一部比较好的历法。对于张胄玄在历法研究方面的贡献，《隋书》分为“与古不同”及“超古独异”两类十事一并收入。