首先，风言风语具有虚假性，就算是出现在史书中的言论都有待考证。司马光在《资治通鉴》中记载“贵妃洗三”一事，在安禄山生辰三日之后，为之洗三，并用锦绣襁褓包裹，与其嬉戏。此事荒诞至极，令史学家大为鄙夷，之后还在文末写道“或于贵妃对食，或通宵不起”。无独有偶，史学小说家蔡东潘也在《唐史演义》中讲述，贵妃与安禄山鬼混一年有余。
但是尽管这些史书看似言之凿凿，但却未必符合史实，一来史学家也是借鉴其他人的作品，比如《资治通鉴》就曾参考《禄山事迹》这类稗官野史，野史杜撰以哗众取宠的成分较多，不足以全信。另外，古代多认为迷惑帝王的女子是红颜祸水，李隆基为杨贵妃不顾伦理桎梏，做下此等丑事，史学家对杨贵妃定是心怀不满。当时的流言也是讽谏帝王要谨言慎行，后来的史学家则借此来警示当时的帝王，因此这些流言多有夸大嫌疑。
其次，不可忽视的是安禄山的谨小慎微。安禄山能在一众臣子中脱颖而出，独得皇帝贵妃喜爱，除了装疯卖傻讨人开心的本事外，必然行事也极为谨慎。否则不会谋划许久，还能不被帝王识破。当时的朝廷重臣有李林甫和杨国忠等人，唐玄宗吃安禄山这讨好卖乖的一套，李林甫对此却不买账，对他处处提防。因此安禄山对李林甫极为忌惮，生怕被抓住把柄，原形毕露。除李林甫外，杨国忠也不容忽视，同为朝中大臣，自然都想更被皇帝宠爱。两人之间也存在利益的博弈，因此安禄山行事必然要谨小慎微。
安禄山虽然被皇帝看重，但也不过是个臣子，是皇帝手中的一枚棋子。皇帝喜欢便是权势滔天，一朝被皇帝厌恶便是自毁前程。安禄山为人野心勃勃，讨好贵妃的目的主要是为投皇上所好。若是跟贵妃过于亲密，那就是适得其反了。因此在没有反叛成功之前，安禄山不可能自毁前程。
再加上唐朝风气比较开放，这是人尽皆知的。在《虢国夫人游春图》中，女人可同男人一样骑马外出，甚至唐朝的衣服也相对暴露，这都是女人身份地位较高的体现。唐朝经过民族融合，很多人本就有胡人血统，民风开放。经武则天称帝后，女人的地位更是得以提升，甚至有权有势的女人都可以蓄养面首。由此可见，与男人见面甚至游玩，都不是什么大事，李隆基对此漠不关心也是可以理解的。
综上所述，谣言总归是谣言，甚至这个谣言都可能是在李隆基，杨贵妃死后才流传的。加上唐朝风气开发，并没有过于严苛的规矩，李隆基对听到的一些不那么严重的谣言不予理会也是正常的。