因为阴丽华的执意辞让，光武帝立了郭贵人为皇后，但是心中对阴丽华的情意却愈加深厚了。为了弥补自己心中对阴丽华的亏欠，他便想将阴丽华的弟弟阴兴封为列侯。阴兴当年跟随刘秀东征西讨，鞍前马后，也是立下汗马功劳的开国功臣。所以，阴兴被封侯也不仅仅是靠姐姐的裙带关系。但是，阴家家风甚严，姐弟俩对于功名都很淡薄，而且为人谦恭。面对皇帝给他的列侯印绶，阴兴固辞不受，光武帝无奈，只能随他去了，从此之后对他更加敬重和信任了。
在册封郭皇后的同一年，宫中突然传来了一条谶文：“赤九之后，瘿扬为主。”据史书记载，这是郭皇后的叔叔真定王刘扬为自己造势所编。汉为火德，所以称赤，自汉高祖至今，已有九代，而刘扬的脖子上恰巧长有瘿瘤，这句话的意思无疑是说，只有刘扬才是真命天子。刘秀当年与刘扬的外甥女郭氏联姻，本来就是出于巩固战略同盟的政治目的，而现在刘扬的所作所为显然是有谋逆之心。刘秀便决定偷偷查明真相，早点除掉隐患。
刘秀先是派人征召刘扬，但刘扬此时拥兵自重，竟然闭城不见。这一试探之下，光武帝便知道刘扬是决意要谋反了，于是，他便派将军耿纯以行赦幽冀、劳慰王侯的名义前往真定，伺机除掉刘扬。刘扬兄弟自恃强兵在手，丝毫不把耿纯一行人放在眼里。等他来到驿站之后，耿纯来了招关门打狗，轻而易举地就把刘扬灭了。
刘扬一死，这桩政治联姻就失去了本来的意义，加上郭皇后为人骄矜自傲，刘秀便想废掉她，另立阴丽华为后。但是，善良的阴丽华总是以大义劝谏光武帝，说郭皇后并无失德之事，自己也无心争夺后位，就不要轻易废后了。面对如此谦让温顺的妻子，刘秀更加坚信自己当年的判断“娶妻当得阴丽华”，对她越来越信赖和敬爱。所以阴丽华虽然默默地做了十六年的贵人，却一直很受光武帝的宠爱，为光武帝生下了五个儿子。