许善心，字务本，九岁丧父，由母亲范氏所抚养。许善心自幼聪明，有心智，所听到的当时就能记忆背诵，博闻强记，被当时人所称道。家里有旧藏图书一万多卷，全都通读涉猎。他十五岁就会写文章，曾呈进书札给父亲的朋友徐陵，徐陵深感惊讶，对人说：“才情格调极高，这是神童啊。”出仕担任新安王法曹。
陈朝灭亡，许善心穿上丧服在西阶下大声号哭，坐在草垫上，面向东方，一连三天。皇上致信慰抚他。第二天，拜任许善心为通直散骑常侍，并赐给他一套衣服。许善心的哭泣极尽悲哀，进房更换衣服，又出来向北站立，含泪拜了两拜接受诏命。第二天才朝见，在殿下俯伏哭泣，悲伤得不能起立。隋文帝环视身旁的人说：“我平定陈国，只得到这一个人。既然能怀念他的旧君王，就将是我的忠臣。”
左卫大将军宇文述每天借用本部士兵几十人来供自己私下使用，经常用半天也就完了。代理御史大夫梁毗上奏章弹劾他。皇帝此时正将宇文述当做心腹，开始让法吏审查，有一千余人都说被役使。过了二十多天，法吏探察皇帝的意思，就说每次使用时间没超过一天，天数虽多，不该全部计算，纵使是事实，也不应追究罪行。那些士兵听说后，改口说根本没有被役使过。皇帝想放过宇文述，让众人说这事的虚实，百官都断为不实。许善心认为宇文述在执仗队伍中抽调士兵私下役使，虽然不满整天，却使执勤守卫有缺，和一般役使部下，情况很不同。又况且士兵大多轮值，分散回归本部，分道追问，不能互相谋议，而供词却相同。现在将近一个月了，才开始翻供，宇文述的罪行很清楚，这怎么能免罪呢!苏威、杨汪等二十多人，附同许善心的说法。其他的人都奏议免罪。隋炀帝同意了免罪的奏议。
宇文化及弑隋炀帝之时，隋朝官员都到朝堂拜谒称贺。唯独许善心没有去。许弘仁骑马跑来告诉他说：“天子已经驾崩，宇文将军摄政，满朝文武都来会集道贺。天道人事，自然有代替终结，关你什么事，而竟如此犹豫迟疑?”许善心对他不满，不愿跟他去。许弘仁回身上马，流泪说道：“将军于您全无恶意，您竟自寻死路，岂不痛心吗?”回来告诉唐奉义，唐奉义把这些情况告诉了宇文化及，宇文化及派遣士兵到家中将他捉拿到朝堂。宇文化及命人放开他，许善心没有拜谢就出去了。宇文化及目送他，说：“这人太看重气节啦。(或“这个人心中怀有很大的气愤啊。”)”又下令捉他回来，斥骂道：“我好意想放你，你竟敢如此无礼!”那些贼党就拉走许善心，于是杀害了他。时年六十一岁。
等到许善心被害时，他的母亲范氏九十二岁，在治丧事时没有哭泣，抚着灵柩说道：“能为国难而死，我真是有个好儿子啊。”于是卧床不进食，十多天后也去世了。