怒族内部分为四个具有不同文化渊源和语言相异的支系。由北向南，居住在西藏自治区察隅县察瓦龙乡和云南省贡山独龙族怒族自治县丙中洛乡和捧打乡的怒族称“阿龙”，人口近7000人，过去又叫“贡山怒族”;居住在云南省福贡县上帕镇和鹿马登乡的怒族称“阿怒”，人口约6000余人，过去又叫“福贡怒族”;居住在今福贡县匹河怒族乡的怒族称“怒苏”，是人口最多的一个支系，有8000多人，因匹河乡过去属原碧江县，因此又称“碧江怒族”;而居住在云南省兰坪白族普米族自治县澜沧江两岸兔峨乡的怒族称“若柔”，人口2000余人，过去又称“兰坪怒族”或“兔峨怒族”。
怒族人口虽然不多，但四个支系却分别使用四种不同的语言。这四种语言都属汉藏语系藏缅语族，但语支未定。其中，怒苏语、若柔语和彝语支语言相近，并有一些词根相同的词汇;而阿龙语和阿怒语与彝语支语言相去甚远，有类似景颇语的特点。尤其是阿龙语和独龙语基本相通，是一种语言的两种变体方言。
在怒族各支系中，由于长期和周围傈僳、藏、白、汉、独龙等民族相处杂居、联姻通婚、交流来往，因此双语现象和多语现象较为普遍。许多怒族居民除了本民族语言外，分别都能说傈僳语、汉语、藏语和白语。而在阿怒人中，本民族语言已退化为家庭语言，社区交往转用傈僳语的趋向较为突出，同时，当地的傈僳语中也吸收了不少阿怒语的成份。
怒族各支系的语言都没有相应的文字，并且不同村寨的方言亦有一定的区别。人们世世代代用口语来传承本民族的历史文化，进行人际交往，交流思想感情。历史上曾一直沿袭古代“结绳记数”、“刻木记事”的原始方法来记录和传递信息。
新中国成立以后，在怒族地区发展了以本民族语言为辅助工具择用汉语文为主的民族教育事业，从而促进了本民族经济文化的发展，提高了劳动者的文化素质。每年都有相当数量的怒族子弟上完小学到初中，获得九年义务制教育，有的还分别毕业于高中、中专以至大学，成了本民族的知识分子。