相传隋朝末年，隋炀帝杨广荒淫无度，竟对与自己是姑表弟兄关系的李渊的妻子窦氏垂涎三尺。于是，他设下计让远在山西太原的李渊到长安商议“要事”。
李渊暗知隋炀帝心怀不轨，便在到达临潼后，将当时已身怀六甲的妻子窦氏和亲随均安排在西村组的金刚寺内（当时，金刚寺名为承福寺）。安顿好妻室后，李渊便去会见隋炀帝。在骊山，隋炀帝要求李渊和他下一盘棋。荒淫昏庸的隋炀帝竟说，如果李渊输了，就得将窦氏送给他，而如果自己输了，愿意将十万里江山拱手相让。听罢，李渊一怒之下将棋盘举起砸向隋炀帝。至此，积怨已久的隋炀帝和李渊展开了恶战。
就在两军交战时，由于舟车劳顿和受到惊吓，窦氏竟在金刚寺的一块大石头旁产下了后来的唐王李世民。窦氏生产时的血污流到了石头上，染红了原本青灰色的石头。后来，李渊和李世民当朝时，都相继对金刚寺进行过修葺。据说，当时的金刚寺占地面积非常大，有48间房，寺内和尚众多，香火鼎盛。