祖冲之生活的年代是公元5世纪。当时已经有相当先进的历法。古人依照月亮变化运行的规律，把第一次见到月圆到第二次见到月圆之间的时间，规定为一个月。这个月大约是二十九天多一点。一年十二个月，这就是我们中国人采用的阴历。同时，人们经观测，掌握了四季变化与太阳的关系，并将这变化的一个周期定为一年，这就是人们常用的阳历。阴阳历相比较，阳历一年的天数比阴历长11天多。为了解决这个问题，把这两种运算天数的历法统一起来，古人用“19年7闰”的办法，也就是说19年中规定了7个闰年。12个月为一年的称为“平年”，13个月为一年的称为“闰年”。这就是“闰月法”。祖冲之经过仔细推算，发现这个闰法每过200年就会相差一天。因此，他打破传统观念，反复计算，精确地得出了每391年中加上144个闰月的新闰法。公元462年，祖冲之经过多年的查阅、比较和研究古代天文历法方面的资料，进行了多次的科学实验，终于制成了《大明历》，打破了我国沿袭很久的“19年7闰”的老闰法，这一年他才33岁。祖冲之在历法计算中还第一次应用了东晋天文学家虞喜发现的岁差原理。所谓岁差，是指地球围绕太阳运行一周，不可能完全回到原来位置的现象。他进行了“交点月”方面的研究，为准确地推算出日食、月食的发生时间提供了条件，这是他在天文、历法方面的又一个创举。祖冲之应用这个原理精确地计算出一回归年是365.24284481日，同近代科学测量相比一年只差50秒，这在天文历法史上是一个重大的进步。他所编制的《大明历》，是当时最精密的历法，并且在公元510年，被当时的统治者确定为通用的历法。一直到南宋的《统天历》，才采用了比这更精确的数据。
《大明历》完成后，遭到了当时执掌朝政内务和机要的重要官员戴法兴的反对。为此，祖冲之同戴法兴等人进行了不屈不挠的斗争，并写了《辩戴法兴难新历》这篇有名的文章。在文章中，他用铁一般的事实驳斥了戴法兴这个顽固守旧分子无中生有的刁难。这篇文章送到皇帝后，经过祖冲之的几番催促和以巢尚之为首的大臣们几番说服，最后，皇帝总算做出了决定。决定说：定于大明九年(公元465 年) ，在改革年号的同时，改行《大明历》。 这一消息传来，祖冲之高兴得几乎要流出眼泪，自己这十年来风餐露宿的观测、 研究总算没有白费，自己总算是做了点无愧于祖先、 有利于后人的事，作为一个搞学问的人，除了这个还有什么奢望呢 ? 可是，好事多磨，正当祖冲之沉浸在胜利的喜悦之中，准备更加发奋，再创新的成果时，宋孝武帝突然病死，那时正是公元 464 年的 5 月，离《大明历》的实施还有一年的时间。宋孝武帝的尸骨未寒，一场争权夺位的恶战就在继承者们之间展开了。处于这一种局势，哪还有什么人顾得上过问改历的事呢 ? 就这样，《大明历》被打入冷宫，直到十八年后才又被人提起。那是齐武帝萧赜当政时期，他的儿子萧长懋看到《大明历》，觉得很有意思和道理，要求父王恩准实施。但建议提出不久，太子和齐武帝二人便相继去世，事情又被搁置下来。这年祖冲之已经五十一岁了。直到公元510 年，由其儿子祖日 恒提议实行《大明历》，得到当朝皇帝萧衍的批准，这才得以实施。而此时，祖冲之已长眠于地下十余年了。