夜郎国之所以具有这么大的知名度，也仅仅是因为司马迁《史记》非常简短的文字叙述。
在《史记·西南夷列传》称：“西南夷君长以什数，夜郎最大。”故事梗概为：汉武帝开发西南夷后，为寻找通往身毒(今印度)的通道，于公元前122年派遣使者到达今云南的滇国，再无法西进。
大约在战国时代，夜郎已是雄踞西南的一个少数民族君长国。汉武帝时，唐蒙奉命于公元前135年出使南越国，了解到夜郎位于巴蜀通往南越的要道上，有便捷的水路可通抵南越的都邑，便向朝廷建议开发西南夷，依靠巴蜀的富裕、夜郎的水路和精兵，有效控制南越的分裂变乱。汉武帝采纳了他的建议，在夜郎地区设置郡县，将夜郎划入版图。公元前111年，夜郎派兵协同征伐南越反叛，遣使入朝，汉王朝授予夜郎王金印。
夜郎国的具体位置，史籍记载都很简略，只说：“临牂牁江”，其西是滇国。牂牁江是汉代以前的水名，今人根据其向西南通抵南越国都邑番禺(今广州)的记载，考证为贵州的北盘江和南盘江。多数人认为，夜郎国的地域还是相当地大的，所辖范围包括了现今贵州的遵义、临近贵州的重庆市部分区域，也包括了湖南跟贵州交界的一部分地方，疆域甚至延伸到了广西西北部的一些地区。
大诗人李白的诗句“随君只到夜郎西”中的夜郎指哪儿?两千多年前，古夜郎国犹如流星一般，消失在浩瀚历史星空，古夜郎的历史面貌也随之成了一个未曾解开的"谜"。在一般人心中，它几乎成了一个神话中的国度。据《史记》记载，“夜郎者临牂牁江，江广百余步足以行船”。专家指出，夜郎没有一个固定地点，是不断变化的。那么夜郎在哪儿，夜郎古国的文明中心在哪儿……
夜郎灭国于西汉末期。汉成帝河平年间(公元前28-25年)，夜郎与南方小国钩町、漏卧发生争斗，不服从朝廷调解。河平二年(前27)，汉廷新上任的牂牁郡守陈立深入夜郎腹地，果断地斩杀了名叫兴的夜郎末代国王，并机智地平定了其臣属及附属部落的叛乱。从此后，夜郎不再见于史籍。
夜郎国存在了约300多年，其文明发展在西南地区具有较大影响。后来，在唐宋时期曾两次置夜郎县。建夜郎国者究系何族，众说纷纭，主彝、苗、仡佬、布依等族先民者均有之。