根据《魏书》、《北史》及其它南北朝至隋唐有关史书记载，柔然所统辖的姓氏共有60余种，其中属于柔然的民族、部落有包姓郁久闾氏、俟吕邻氏、尔绵氏、约突邻部、阿伏干氏、纥奚部、胏渥氏;属东胡鲜卑的有拓跋氏、丘敦氏、无卢真氏、树格干氏、尉迟氏、谷浑氏、匹娄氏、勿地延氏、莫那娄氏、叱豆浑氏、库褥官氏、温盆氏、树黎氏、乌氏(乌洛侯);属于敕勒的有乙旃氏、斛律氏、副伏罗氏(部)、达布干氏、屋引氏、他莫孤氏、奇斤氏、泣伏利氏以及东部高车等;属于匈奴余部的有拔也稽部(一说属敕勒)、贺术也骨部、乌洛兰氏;属于突厥的有阿史那氏;属于西域诸胡的有龙氏、高氏(一说为汉人)、希利垔、邢基祗罗回、侯医垔等。此外，柔然内部还有一些汉人。由上可知，柔然主要是鲜卑、敕勒、匈奴和突厥等许多民族和部落所组成。因此，东胡之裔、鲜卑一支、匈奴别种之说，亦皆有一定的合理因素。
但就柔然统治者的世袭贵族而言，无疑是从拓跋鲜卑部落联盟中分离出来的。柔然一个归附北魏的首领阿那瓌曾对魏孝明帝元诩说：“臣先世源由，出于大魏。”元诩回答：“朕已具之”，以表示认可。故有的史书直称柔然可汗社仑为鲜卑社仑或河西鲜卑社仑。说明柔然、拓跋均有一个共同祖源，皆由鲜卑和匈奴融合而成。柔然贵族是从拓跋鲜卑中分离出来的一支。随着柔然势力在大漠南北的发展，与进入中原地区的拓跋鲜卑分道扬镳，出现的差异也越来越大。