初平三年(192年)，曹操在担任代理兖州牧时，听说吕虔有勇有谋，便任命他为从事，让他带领自己的家丁镇守湖陆城。当时，襄贲校尉杜松的部下炅母等人作乱，与昌豨勾结，曹操命吕虔接替杜松。吕虔到任后，招诱炅母和他的首领及党羽数十人，赐他们酒饭，暗中派壮士埋伏在两侧。等看到炅母等人都喝醉后，吕虔便命两侧的伏兵把他们全部杀死，并安抚炅母的部下，这批叛贼于是都被扫平。
后来，曹操又任命吕虔为泰山郡太守。泰山郡依山连海，世道混乱，百姓大多躲藏起来或四处流窜。袁绍所任命的中郎将郭祖、公孙犊等数十人占山为寇，百姓深受其害。吕虔率领家兵到泰山郡赴任，他施行恩惠、讲求信用，郭祖等人都出来投降，躲藏在山里的百姓都返回乡里定居从事生产。吕虔挑选强壮的人补充到军队中，泰山郡从此便有了精兵，在各州郡中名列第一。当时济南的黄巾军首领徐和等人，所到之处劫持县令官吏，攻打城邑。吕虔率兵与夏侯渊一同前去攻打他们，前后数十仗，斩首俘虏数千人。曹操又派吕虔总督青州各郡的部队讨伐东莱地区的李条等各路贼寇，立有战功。曹操发布通令说：“有志向，必定要成就事业，这是英烈之士所献身追求的目标。你在泰山郡以来，捕捉奸人讨伐贼寇，百姓获得安宁。你亲自冒着矢石，每次出征必能取胜。过去寇恂在汝水、颍水之间扬名，耿弇在青州、兖州献策，古今都是一样的。”吕虔被推举为茂才，加任骑都尉，仍然管辖泰山郡。吕虔在泰山郡十几年，有许多威德恩惠。
黄初元年(220年)，曹操之子曹丕继任魏王，加任吕虔为裨将军，封益寿亭侯。后又升任徐州刺史，加任威虏将军。吕虔请琅玡人王祥担任徐州别驾，将民政之事全部委托给他，世人都赞扬他能够任用贤人。后来，吕虔在征讨利城叛贼的战役中，斩首俘虏立下功劳。
太和元年(227年)，魏明帝曹叡继位，改封吕虔为万年亭侯，增加食邑二百户，连同以前的共计六百户。吕虔去世后，由其子吕翻袭封万年亭侯的爵位。