1924年，胡佛就任局长。后来，时任总统罗斯福绕过当时的司法部长，单独召见胡佛，要求FBI搜集共产党和法西斯分子在美国活动的情报，并默许他使用“特殊手段”。
此后，胡佛为获取情报开始不择手段。当美国最高法庭裁定电话窃听为非法时，罗斯福私下对胡佛说：“让法院见鬼去吧!”
其实胡佛对罗斯福根本算不上忠心。他非常讨厌“自由派”，而罗斯福用的人几乎都是“自由派”。胡佛还认为罗斯福有“变态的帝王思想”。尽管表面上对罗斯福毕恭毕敬，私底下却从不放过攻击他的机会。
但罗斯福为了保护自己的权力，对付来自左翼、极右势力、法西斯势力的重重挑战，需要借助胡佛的特务手段，所以对胡佛的阳奉阴违虽恼火，却没有表现出来。在总统的纵容下，FBI越来越肆无忌惮，把触角伸向各个行业，积累的秘密档案也越来越多。
在罗斯福之后，不少美国总统都对FBI的巨大权力忧心忡忡。杜鲁门总统曾公开表示担心FBI会成为“美国的盖世太保”;肯尼迪总统则知道胡佛手里有他与某女的性爱录像带，因此十分同意手下的观点：胡佛“简直就是阴沟”─专门收集和传播脏东西。
在胡佛统治FBI的近半个世纪里，1948年大选是他唯一一次被美国选民“戏弄”。
那一年，美国在任总统杜鲁门同共和党人杜威展开角逐，公众普遍认为杜威会击败杜鲁门，这也是胡佛所希望的。杜威是顽固的保守主义者，也主张使用强力手段打击犯罪。由于在国家安全方面观点一致，胡佛一直在幕后积极支持杜威。
1948年秋，胡佛似乎已经为“后杜鲁门时代”做好了准备，他不再听从杜鲁门的命令，在执法和情报领域大权独揽。杜鲁门当时看来已无能为力，政治上的影响力也消耗殆尽。
大选前，《新闻周刊》杂志请了美国50名最有影响力的政治记者做预测，大家一致认为杜威能胜出。因此，选举前夜，胡佛安然入睡。但后来的新闻让世人大吃一惊：杜鲁门击败了杜威。听到这个消息后，胡佛整整消失了两周。
1963年11月，肯尼迪总统遇刺身亡，副总统约翰逊继任。胡佛与约翰逊是邻居，两人经常在一块儿吃烤肉、喝威士忌。和罗斯福一样，约翰逊喜欢秘密情报，两人都担心肯尼迪的弟弟罗伯特会上台。
罗伯特是胡佛的顶头上司，但胡佛却十分讨厌他，不向他提供情报，让他没有机会领导民主党。与此同时，他利用FBI的资源帮约翰逊积累政治资本，为约翰逊在1964年赢得大选铺路。
当时约翰逊正不遗余力地推动民权立法，帮助美国黑人获得选举权，但“三K党”成了他的一大障碍，不但杀害民权工作人员，还炸毁黑人教堂，在南部实行恐怖统治。约翰逊命令胡佛去对付“三K党”，胡佛没有让他失望。
随后约翰逊主张的民权法案顺利在国会通过，并在紧随其后的大选中，以压倒性优势赢得连任。在任期结束前，约翰逊把自己的执政秘密告诉继任者尼克松：“如果没有胡佛，我根本无法行使总司令的职责!”
但胡佛没能庇护得了尼克松。胡佛去世不久，就发生了“水门事件”：尼克松的心腹因潜入民主党全国委员会办公室搞窃听而被捕，FBI很快查明了该行动的负责人是为尼克松工作。
当时FBI负责此案的人接到白宫办公室主任打来的电话，说总统指示，对水门饭店事件的调查必须立刻中止，却遭到坚决拒绝。两年后，尼克松灰头土脸地辞职了。