解放军1955年实行军衔制后，上士是军衔体系里的一个等级称号，其地位低于准尉，高于中士，是军士军衔中的最高级别。在此前的20多年里，无论是解放军还是国民党军队，甚至连日本侵华时期的伪军在内，连队和机关伙食单位，都有一个低于司务长、高于炊事班长，管理伙食等项工作的职务，称之为上士。
上士本来是清朝末年和北洋政府时期的军衔称号，怎么变成了国民党军队和解放军的职务名称了呢?
清政府从西欧引进军衔制度后，将低于准尉、高于上等兵的军衔称号定名为军士，军士分为上士、中士、下士三级。辛亥革命后，孙中山领导的南京临时政府和袁世凯统治的北洋政府，对清朝政府命名的上士、中士、下士的军衔等级，相沿未改。之后，国民党军队实行的和解放军拟定的(战争年代两次拟定军衔制度但未实施)军衔等级中，也都设置有上士这一等级称号。
北洋政府颁布的编制军衔文件规定，在步兵连的编制军衔定额里，军士共编11名，其中上士1名，中士4名，下士6名。上士是连部负责庶务工作者的编制军衔。庶务在这里的含义，是众多的意思，也就是指从事众多事务的一种工作。它的上司司务长，就是管理连队全部事务工作的长官。但是，当时对庶务一词的规范，还没有像会计那样，既是指一种业务工作，又是指一种职务名称。所以，人们逐渐地把庶务的职位与上士的头衔联系起来，称作庶务上士，用这种职位加头衔的方法来表示对担任庶务职务者的称呼。时间一长，人们逐渐省略了庶务二字，只用上士一词来表示对庶务职务的称呼了。慢慢地，许多人不了解过去的衍化过程，认为上士就是庶务工作者的职务称谓。
这种误会不仅仅表现在人们的口头称呼上，而且还写入了正式编制表。例如，红一方面军1933年发布的《关于军职分别的训令》里，就列有上士这一职务。新四军的文件中，一个人有两个上士头衔，一个是职务上士，一个是军衔上士。1946年3月，新四军兼山东军区司令部发布的《本军划分军队官兵阶级的说明与规定》中，在连队的编制军衔栏目中说：“文书可评上士、上士可评上士。”第二个上士是职务，第三个上士是军衔，一个人具有两个上士头衔。
在以往长达20多年时间里，国民党军队和解放军的领导机关，对这种把上士衔称当成职务名称的现象，见怪不怪，谁也没有把它看作是个问题，而去追溯究竟是怎么回事。1955年解放军实行军衔制时，主管部门大概意识到，在编制军衔表中将会出现“上士的编制军衔为上士”的现象，为避免职务上士与军衔上士重复，才把既有的上士职务改称为给养员，结束了军衔上士被异化为职务的历史。