中华人民共和国成立前，中国人民解放军曾两次拟议实行军衔制度，但由于受当时环境的制约，两次拟订的军衔制度都未能实行。

　　建国后，为加强我军的正规化、现代化建设，实行军衔制的问题被重新提上议事日程。1952年冬便着手研究军衔制的问题。1952年11月26日，总干部部在向毛泽东主席并军委的报告中，对实行军衔制度准备工作等问题，拟制了初步计划。1955年我军正式实行军衔制度。

　　这次军衔等级设置是在中国传统军衔等级体系的基础上，参照了前苏联、朝鲜等国的军衔制而设定的。军官军衔设4等14级，即中华人民共和国大元帅、中华人民共和国元帅(大元帅实际未授予)；大将、上将、中将、少将；大校、上校、中校、少校；大尉、上尉、中尉、少尉。1955年9月27日，全国人大常委会第二十二次会议通过了授予中华人民共和国元帅军衔的决议。同日，中华人民共和国主席毛泽东向朱德、彭德怀、林彪、刘伯承、贺龙、陈毅、罗荣桓、徐向前、聂荣臻、叶剑英10人授予中华人民共和国元帅军衔。国务院总理周恩来发布命令，授予粟裕、黄克诚、谭政、肖劲光、王树声、陈赓、罗瑞卿、许光达、徐海东、张云逸10人中国人民解放军大将军衔，授予55人上将军衔，授予175人中将军衔，授予801人少将军衔。以后，从1956年至1964年间，又陆续晋升了一批将军。到1965年，共授予将官以上军衔1614人。

　　1965年5月22日，第三届全国人大常委会第九次会议通过了《关于取消中国人民解放军军衔制的决定》，1965年6月1日开始实施。

　　1980年3月，中央军委主席邓小平提出要搞军衔制。1984年5月31日第六届全国人民代表大会第二次会议通过的《中华人民共和国兵役法》规定：“中国人民解放军实行军衔制度”。1985年6月，中央军委召开扩大会议，果断地提出割断1965年以前的军衔体制，“实行新的军衔制”。1988年7月1日，七届全国人大常委会第二次会议通过了《中国人民解放军军官军衔条例》。

　　士兵军衔制度同时立法。

　　新公布的军衔制度不设元帅、大将和大尉，而以一级上将为最高军衔。军官军衔设3等11级，即一级上将、上将、中将、少将；大校、上校、中校、少校；上尉、中尉、少尉。海军、空军军官在军衔前分别冠以“海军”、“空军”。专业技术军官，在军衔前冠以“专业技术”。中央军委领导邓小平、杨尚昆主动提出自己不受军衔，因此，一级上将空缺。

　　1993年10月1日起，士官分别佩带共有4个军衔等级的标志。士兵军衔按等级分为：士官：军士长、专业军士；军士：上士、中士、下士；兵：上等兵、列兵。

　　1994年5月12日，第八届全国人大常委会第七次会议通过了关于修改《中国人民解放军军官军衔条例》的决定。修改后的军衔条例设3等10级，即上将、中将、少将；大校、上校、中校、少校；上尉、中尉、少尉。

　　1995年9月10日，八届全国人大常委会通过《中华人民共和国预备役军官法》，规定预备役军官军衔设3等8级，即少将；大校、上校、中校、少校；上尉、中尉、少尉。