刘秀属西汉皇族，文史典籍有翔实记载。《东观汉记·帝纪一》说：“世祖光武皇帝，高祖九世孙，承文景之统。”《后汉书·光武帝纪》说：“世祖光武皇帝讳秀，字文叔，南阳蔡阳人，高祖九世之孙也。”刘秀既然是汉高祖、文帝、景帝之后，又是怎么与枣阳渊源至深呢?《后汉书》作了解释，“……元帝初元四年，徙封南阳之白水乡，犹以舂陵为国名，遂与从弟钜鹿都尉回及其宗族往家焉。”由此可见，刘秀家族在其祖父一代已来到白水乡。据有关部门考证，西汉末年，枣阳版图内设有四县，即北有湖阳县，西北有棘阳县，东有复阳县，西南有蔡阳县。关于白水乡的方位，《水经注》记载：“光武帝旧宅在城东南40里即白水村，又曰皇村。”李贤为《后汉书》作注道：“光武旧宅在今枣阳县东南，宅南二里有白水焉。”明朝正德二年，河南道御史袁仕和山西道御史李帮用立皇村寺碑，碑文中称“皇村在枣阳东南四十里，圣龙襟其左，响水潭在其右，群山在其前，白水带其后。”据此方位看，舂陵白水乡即在今枣阳市吴店镇。
据史料记载，西汉哀帝建平元年(公元前6年)，刘秀出生在陈留郡济阳县(今河南省兰考县东北)，他父亲刘钦时任济阳县令。刘秀出生的时代是一个矛盾丛生、动荡不安的时代，9岁时，父亲去世，刘秀兄妹成了孤儿，生活无着，只好回到祖籍枣阳舂陵白水村，依靠叔父刘良抚养。“光武年九岁而孤，养于叔父良。”
在枣阳白水村，刘秀生活了近20年。在那里，他同族人、乡亲们一起日出而作，日落而息;他相亲相助，“乐施爱人”，“勤于稼穑”;他还善于经营，每年夏、秋大忙以后，他便利用农闲时间，赶着毛驴把谷物等农产品运往新野、南阳销售，增加收益。王莽天凤年间，刘秀到当时全国的政治、文化中心长安求学，进入太学，拜中大夫许子威为师，专门攻读《尚书》。但他绝不固守一经，而是通览博学
在天下未平、战事频起的时代，他也力争做到一有空闲便学习和研讨儒经文艺，“经学博览，政事文辩，前世无比”。在长安，他大大开扩了眼界，也磨炼了心智，他非常关心时事、关心政治，“朝政每下，必先闻知，县为同舍生解说。”(《东观汉记》)。勤学好思，广泛接触社会，使刘秀在政治上逐渐成熟起来。后来因家境困难，刘秀不得不中途辍学，回到枣阳，过着他熟悉的耕读生活。