自唐太宗李世民起兵当上皇帝以来，他先后收拢了数十名军事将领，这些人也相继成为李世民的知己和嫡系。在这些将军中，李世民最器重的有五位，可以称为李世民的“五虎将军”。其中尉迟恭功劳最大。
尉迟恭依靠他的功德，除了李世民皇帝之外，他不把任何人的眼中，就连宰相方玄龄见了他，都要低他一等。当然，李世民对如此骄傲的尉迟恭早就不满意了。
然而，有一次发生一件事让李世民对尉迟恭难以忍受。这一事件发生在李世民宴请官员时，尉迟恭看到李道宗坐在相对前列的位置。他以为应该坐在李道宗的前面。因此，他大声斥责李道宗，甚至两个人打架。最后，李道宗被尉迟恭打得鼻青脸肿，李道宗可是皇亲国戚。这不是明摆着打皇帝的脸吗?而这件事就发生在李世民面前。
后来，李世民告诉尉迟恭，他要把自己的女儿嫁给他。李世民的举动可能有两层含义：一是通过联姻与尉迟恭建立更紧密的联系。另一种是派一个人到尉迟恭监督他的言行。尉迟恭当然明白李世民的意思。因此，他以糟糠之妻不下堂为由由拒绝了李世民。同时，迅速交出兵权，辞职回了老家。由于糟糠之妻不下堂为由远离了庙堂。所以最终得以善终。