隋炀帝历来以残暴著称，其实他也很有文才，不过才能没有用到正地方，反而成为他鄙视文人所依赖的条件。文才出众的大臣好几个都被他借故害死。此外，他的文才还用来拒绝纳谏，如果看出来谁的奏章是在指他的过错，是在进谏，他肯定要想方设法地打击报复，因为说话的内容刺激了隋炀帝而被赐自尽的大臣有很多。在三次征伐高丽结束后，太史令庾质因为劝谏他不要到洛阳巡游，说应该让百姓有个喘息的机会，结果被他杀死。时间一长，大臣们就没有敢于进谏的了。这就为小人的横行创造了有利的条件。
奸佞小人中，一个是杨素，一个是宇文述，还有其他很多的大臣。杨素专门迎合炀帝的喜好，不敢有一点冒犯。他还跟着主子学，修造豪华的宅院，养着众多的妻妾享乐终日。
宇文述也是很善于迎合拍马的佞臣，很擅长察言观色，在跟随出巡时，经常用奇珍异宝讨炀帝的欢心，这样，自己的官位、富贵也就安枕无忧了。三次下江南巡游江都，其中一次就是他劝说出来的，得到了炀帝的赞赏。
还有光禄大夫郭衍，也是喜欢献媚邀宠的人，为了讨杨广欢心，献出一个昏招：每五天上朝一次，这样就不会被繁重的政务拖累了。昏庸的炀帝不察其奸，反而认为是个忠臣，说只有郭衍和他是同心的人。现在我们工作五天休息两天，郭衍却主张皇帝工作一天，休息五天，真是天下一绝有这样的奸臣，隋朝灭亡也在情理之中。
在各地巡游的时候也是一样，凡是让他高兴的人就提拔，让他生气的就罢官，或者杀死。到江都巡游时，当地的官员竞相献珍异之物，好的就升官，不好的就地免职。
靠这样过日子毕竟是掩耳盗铃，造反的农民起义此起彼伏，隋炀帝并非一点不知道，不过是不愿意说，不愿意听到消息而已。如果大臣说国泰民安，他就高兴，如果说天下大乱，那很有可能被杀。到了晚上，炀帝毕竟心中烦闷，所以，要由好几个姬妾轻轻摇晃着他才能睡着，在梦中他大概也难以得到安宁，噩梦肯定是少不了的。