杜心五自幼聪慧过人，喜读诗书。其父延请阎秀才来家课谈。他读书之余，爱随大人练武。 七岁，随管家王云清找到武士石彪，向石学会了“飞蝗石”，投击无不中。八岁，父亲辞世，家道中衰。心五到离家三十里的胡家坪私塾读书(塾师为清举人胡老先生)，同时，拜严克(慈利甘堰人)为师，学习南派拳术。在这里，他白天读书，晚上练武，历时三年，对金岩山张真人一脉相传的“大连图”奥秘，已心领神会。 因为他父亲在大沽口曾被洋人打穿大腿，又目睹九溪天主教堂传教士残害群众，故立志习武，并在练功房贴上“练成武艺，誓杀洋鬼”字样。十二岁时，严克云游他乡，心五去宝盖子山，向老道于虎学武当拳的内家功夫。十三岁时，他仿古人作法，四处挂牌求师：“小子不才，诚心求师。惟须比试，能胜余者，千金礼聘，决不食言。——慈利江垭岩板田村杜慎媿”。
牌子挂出后，应聘者虽多，但无一人胜他。一天，贵州赵玉山荐来一武师。来信说：“接奉惠书，嘱访良师。兹从嘱，敬聘徐师前来赐教。此人系武林奇士，务请恭谨迎候，万勿失之交臂而遗憾终生也!年愚弟赵玉山叩”杜心五看见持函前来的徐师身材矮小瘦瘠，不甚信服。几经试探，乃知确为风尘奇人，遂恭谨有加。徐矮师教杜负重踩桩成圆形走，练自然门的内圈法。他说：“自然门首先练气.踩桩走要轻松自然，动静相兼，气沉丹田，能虚能实”。以后，腿上的沙袋逐渐加重，注意手、眼、步法，兼练踢、蹬、扫、踩、踹，做到吞吐沉浮，运气发功，感觉内在产生升腾之力，瞬息可收可发。他要求杜心五做到意、气、内功、外功，浑然—体。原来这徐矮师是四川人，学问精深，通晓经书。少年时，在峨眉山从武当道人徐清虚学艺，并研讨少林功夫，集武当、少林之精粹，创造出“动静无始，变化无端，虚虚实实，自然而然”之自然门功夫。杜虚心承教，研习不倦。十四岁时，因徐矮师已返川，便去渔浦书院学习，读经史，练书法。
由于他记忆力特强，又很勤奋，深得吴岩村山长器重，命他赴澧州应考，竟取在前十名。其后，杜入常德高等普通学堂，与慈利吴良愧、刘孟顾，临澧林伯渠，桃源唐伯球等同学。业余回家，从本地名猎手学习打虎，练好了虎叉。他少时曾吸鸦片成癖。一次因猎获一只野猪，同伴要他提起上肩，却力不从心。于是痛感烟毒之害，乃决心把烟戒掉。十六岁时，杜去四川峨眉山，向徐矮师专攻“法于天地阴阳之理，顺乎自然规律之道”的自然门轻功，成为自然门鼻祖徐矮师的独传高足。1887年，十八岁的杜心五到重庆金龙镖局当镖师，走镖川、黔、滇、桂一带，保护商旅安全。一次，他将一马帮护送到目的地后，独自一骑返川。在川黔边界一座深山老林中，他除掉了—个开黑店的大盗李老大，救出了几个被劫抢来的妇女。1889年(光绪十五年)，杜心五辞镖师职，回到慈利老家，闭门读书。不久，去北京守卫清宫，月银八十两。他住北京西直门大街酱房大院六号。