由于年少失去父亲，刘备跟母亲靠贩草鞋、织苇席为生。他家屋旁有棵大桑树，枝叶繁茂，远远望去犹如皇帝乘坐的华车之盖。刘备小时候跟族中小孩在树下玩耍，说他长大了要乘坐这个羽葆盖车，吓得他叔父急忙训斥他不要胡说，这可是灭门之罪。十五岁时，刘备奉母亲之命外出游学，师事原九江太守同郡人卢植。卢植是当时著名的大儒，但刘备对读书没有多大兴趣。先主传说他“不甚乐读书，喜狗马、音乐、美衣服。”身高七尺五寸，垂手过膝，回头能看到自己的耳轮。平时少语寡言，善待下人，喜怒不形于色，好交结豪侠之士，因而许多少年争相归附他，同族人称他“非常人也”。史书上所说的这个少年刘备，已使我们看到他性格上的一些基本特点。
历史上的刘备，也不是如小说所描写的那样，温文尔雅，形同儒生，而是很有勇力、血气刚强之人。他起事之初参与讨伐黄巾起义，作战十分勇敢，“数有战功”，曾受伤后佯装死状，逃过劫难，并因其“有武勇”、“有军功”而被任命为安喜县尉，怒鞭督邮的事就发生在这个时候。当时上面来了个督邮，住在官舍，刘备上门求见，督邮推故不让进，刘备于是闯到里面把督邮捆起来，责打了两百杖，将印绶解下系在督邮脖子上，又将他绑在拴马桩上，然后弃官逃走。历史上的刘备，不仅敢于一怒鞭督邮，宁可不当官，而且曾袭杀徐州刺史车胄，斩下曹将蔡阳之首。这些事都是先主传明确所载，到《三国演义》里，则分别加到了张飞和关羽头上，刘备勇烈的一面便被抹掉了。