中国原来没有拼音字母，采用直音或反切的方法来给汉字注音。直音，就是用同音字注明汉字的读音，如果同音字都是生僻字，就是注了音也读不出来。反切，就是用两个汉字来给另一个汉字注音，反切上字与所注字的声母相同，反切下字与所注字的韵母和声调相同。这两种注音方法，用起来都不方便。
唐代守温和尚在分析汉语声母韵母和声调的基础上，制定了描述汉字语音的三十六字母，可惜他用汉字来表示这些声母和韵母，因此，没有进一步发展成拼音文字。
明朝末年西方传教士来中国传教，为了学习汉字，他们开始用拉丁字母来拼写汉语。1605年，意大利耶稣会传教士利玛窦在北京出版了《西字奇迹》，其中有4篇汉字文章加了拉丁字母的注音。 《西字奇迹》这本原书已不容易找到，据说，梵蒂冈图书馆尚有藏本。
1892年，福建人卢戆章经过10年努力，写了一本《一目了然初阶》的书。这是第一套由中国人自己制订的汉语拼音方案。当时卢戆章把它称为“切音新字”，用拉丁字母及其变体来拼厦门音，声韵双拼，左右横写，声母在右，韵母在左，另加鼻音符号和声调符号。但卢戆章的“切音新字”并没有得到推广。
鸦片战争以后，中国沦为半殖民地半封建社会，挽救民族危亡和振兴中华的热情，激发着一些爱国知识分子提出了教育救国的主张。一批知识分子开始要求对汉字进行改革，甚至要废除方块字，改用字母文字。改革呼声在“五四”时期达到高潮，被誉为“民族魂”的鲁迅甚至一度发出“汉字不灭,中国必亡”的呐喊。而梁启超、沈学、卢戆章、王照等人指出，汉字的繁难是教育不能普及的原因，掀起了一场"切音字运动"。
1906年春，“帝国邮电联席会议”于上海召开，由剑桥大学教授威妥玛整理、传教士翟理斯修改之后的《威妥玛一翟理斯拼音方 案》(史称“威妥玛拼音法”)公之于世，使汉语拼音第一次在全世界范围内有了较为广泛的推广，但缺点是很多音都拼不准。
1913年2月25日北洋政府教育部“读音统会”在北平召开。审定了6500个汉字的读音，用各省代表投票的方法确定了"标准国音";拟定了一套注音字母，共39个，这套字母采用汉字笔画式， 字母选自古代汉字。5年后这次会议确定的“标准国音”与注音字母由教育部正式公布，全国小学的文言文课一律改为白话文课，小学教科书都在汉字的生字上用注音字母注音。
1928年，语言学家黎锦熙和赵元任创立了《国语罗马字拼音法式》(简称“国罗”)。它虽然有四声的区别，但却辅以一套很复杂的变读法则一般人很难掌握。
1931年身在苏联的瞿秋白与苏联汉学家合作制订了拉丁化新文字(简称“北拉 ”)，但由于没有标调，无法解决同音字问题，人们只能靠上下文描测字义，经常闱误会。
拉丁化新文字的创制者"北拉派"和国语罗马字的创制者"国罗派"之间曾经进行过激烈的论战，但两派在一些根本问题的认识上是一致的， 都是中国人自己创制的拉丁字母式的汉语拼音方案中比较完善的两个方案，只是在个别枝节问题上有分歧。
1955年10月15日中国文字改革委员会和教育部在北京联合召开全国文字改革会议。被誉为我国“汉语拼音之父”的周有光提出汉语拼音方案三原则，即拉丁化、音素化、口语化。
1956年2月20日,《汉语拼音方案(草案)》出台，1958年2月11日，第一届全国民代表大会第五次会议正式批准了这一方案。
《汉语拼音方案》公布以后，一般农民15到20个小时就能掌握汉语拼音，利用汉语拼音识字，100个小时就能识字1500个。那时中国无论大街小巷、田间地头、商店食堂，只要有汉字的地方，都被标上了汉语拼音，成为了人们生活的一部分。