胡林翼，其父亲官拜四品，岳父是陶澎曾任两江总督。少年时放荡不羁，骄奢淫逸，轻裘肥马，曾被人称为“少年天才”的他是典型的纨绔子弟。
道光二十一年，29岁的胡林翼因科场案受到牵连，在官场上连连受挫，让他一度消沉。随后不久，父亲胡达源的去世，胡林翼不得不回乡守制，他的第一次仕途也因此结束。
在乡守制期间，胡林翼开始反省自己以前放浪形骸的行为。仕途的挫折，让他开始沉潜内敛。生于官宦之家，打小在皇城根下成长的他不甘于在家做个富贵闲人。
根据当时捐例，捐纳为官可以自主择地，胡林翼本可以选择一个发达的地方，挑个肥缺做官。但他是正途出身，曾官清要，捐纳为官已让他蒙羞，所以宁愿到边远之地，以区别于那些输金为吏者。
胡林翼最终选择了贵州，其一，父亲胡达源曾经任贵州学政，他也随父亲在贵州生活过一段时间，了解这里的风土人情。选择这里既想追随父亲的脚步，又想在父亲工作过的地方做出成绩来。其二，现在天下几乎无官不贪，只有在贵州这样的边鄙之地，官场风气尚不太恶，可以自保清白，不负死去的父亲，也不负国家。赴任之前，胡林翼专门回了趟老家，祭扫了父亲的坟墓。他跪在父亲坟前，发誓“不取官中一钱自肥，以贻先人羞。”
在胡林翼到任之前，很多人担心这个富贵公子在艰苦落后的大西南待不长。然而一到贵州，胡林翼的表现让所有人都深感意外。
胡林翼初署的是安顺知府。安顺位于贵州中西部，山水崎岖，交通不便，最大的问题是土匪横行。因此，剿匪是胡林翼的首务。
他深知民间情伪，知道当时各地兵丁和衙役都风气极坏，只知捞钱，不办正事，“兵将之滑者十之九”,“官兵数万,已成废器”。因此剿匪一事断不能指望体制内的力量，只能指望于当地老百姓,所谓“治盗之法，与其用捕， 不如用民”。所以，他发动民众训练乡勇来对付土匪。这一想法和曾国藩跳出体制创建湘军的思路暗地里不谋而合。他到任之后，宣布地方百姓每捕一盗赏银五两。“寄以耳目，尽得盗匪姓名、状貌及道里远近状”。就是说，通过实地走访，从乡绅百姓那里获得大量情报线索，然后率领乡勇前去抓捕。胡林翼算过，这样一来，不但效果好，而且费用低。用一千兵每月所费要六千两，而一千乡民不过一千二百余两。
得到百姓提供的情报之后，胡林翼亲自率人缉捕，穿着短衣草鞋，爬高山，人深谷，顾不上寝食。谁还能想到，这个在大山老林里艰苦跋涉的短衣芒鞋的汉子，几年前还是一个轻裘宝马、纵酒狂歌的纨绔子弟。到任一年，他前后捕获有名大盗二百余名。
因为安顺的成功，胡林翼的捕盗之名顿起，贵州省内，哪里盗匪之患急上司就派他到哪里。后来在黄平剿匪时，已是腊月，大家劝他过了年再去，趁他却说这正是剿匪的好时机，匪帮毫无防备之际突然袭击，擒获大盗二百九十八名，困扰贵州多年的一大股匪患至此平息。
凭着这股一般人没有的吃苦劲头，他又渐次署理镇远、黎平等地。每到一地，匪患顿息。他的大名，不久就远达京城，连咸丰皇帝都问“胡林翼官声何以如此之好?”