袁文会(1901一1950)，祖居天津南门外芦庄子(又称芦家庄)。祖父袁老先，哥仨都是秃头，共生子侄八人。袁文会之父大排行行七，名袁国璋，生二子，长子袁文会，次子袁文德(文德为人老实、好学，于1935年万国公寓凶杀案后被吓死)。
袁老先为芦庄子著名混混，在日租界松岛街设立脚行锅户，旭街至海光寺这条街上的日商洋行和中国商店，凡装卸货物一律须由袁家脚行承包。袁老先很有点武功，手使一把特制铁锨，他弟兄及子侄十余人，在芦庄子一带形成一霸。1898年袁家扩展霸业，老七袁国璋到北城根估衣街争夺当地脚行，老七很有臂力，在与对方争斗中失手打死了人，被清官府逮捕后，判处充军山东。是年正值山东义和团兴起，袁国璋趁乱越狱逃跑，参加了义和团。庚子义和团失败后逃回天津，两年后去山西参加清军，自此永无音信。继而袁文会母死，他与弟弟文德同由其八叔袁国玺抚养。
民国初年袁老先弟兄相继死去，袁家脚行也逐渐衰落。老八袁国玺改行，在芦庄子开设宝局(赌场)，利用其父兄的余威和与日租界交界的有利条件，生意非常兴隆，故而无暇照顾袁文会弟兄。
袁文会生性粗野，不读书不求上进，整日在邻里间打架斗殴。日久惹得其八婶反感，对他非打即骂，甚至不给饭吃，致使他终日游荡于“三不管”。袁文会在难以忍受之下投奔其舅父家，舅父姓隋，在东门外天后宫当老道(火居道)。
袁文会16岁时隋老道送他到棚铺学徒。袁身材利落，在栅匠中学得撑杆上房的本事，但他游荡成性，未等出师就辞退不干，气得舅母又打又骂。他一气索性不回舅家。