从古书记载来看，官印的出现可以追溯到四千多年前的尧、舜时代。关于官印起源，汉代《春秋合诚图》里有这样的记载：传说尧与太尉舜坐在舟中泛游，忽然，一只凤凰飞到他们面前，将背负的图书交给尧。这图书装在一个赤玉匣子中，长三尺，宽八寸，上有黄玉检斗，用绳子捆扎，两端用泥封固，并加盖了“天赤帝符玺”的印章。这说明，印章最早是作为权力的象征出现的。比较完备的官印制度，形成于秦代，自丞相太尉到郡守县令，都由国君在任命时授予官印，同时配发穿在印钮上的丝带，叫做“绶”，以便须臾不离地佩带在身上。
秦末，天下大乱。项梁指挥项羽拔剑砍下殷通首级，“佩其印绶”，然后便自封为新的郡守，行令各县，“得精兵八千人”。这个凭印绶当官、认印不认人的制度，又为汉朝所继承。汉武帝时，穷得连老婆也养活不起的朱买臣忽然被任命为故乡会稽郡守。当其回到下榻的会稽郡驻京办事处时，吏员们仍把他当穷汉看待，不予理睬，直至发现他怀里揣着印绶，“坐中惊骇”，马上排好队，一起跪拜。这种观念的沿袭，便使“掌大印”、“拿印把子”成为当官掌权的代名词。
印绶制度的另一特征，是以铸印材料和绶带颜色区别官阶。如汉代，丞相太尉一级高官，金印紫绶;御史大夫及两千石以上，银印青绶;六百石以上，铜印黑绶;二百石以上，铜印黄绶。从晋代起，印绶制又改为印囊制，绶囊用皮革制成，盛进官印后佩在腰间，以绣缕区别官阶。
刘邦微时所干的乡亭小吏，倒也有“五两之纶，半通之铜”的一方小印。所谓“半通”，是相对于“全通”而言的：汉制，凡二百石以上的官印，“皆为通官印”，意思是具有发号施令的法律效力，“半通”，就当做具有一半法律效力来理解了。所以，刘邦领一个泗水亭长的“半通之铜”佩在腰间，摇来晃去，也挺神气。
从官员之印到官府之印
当时人对官印的理解是官员之印，而非官府之印。印绶由官员随身佩带，除非因犯法、罢官等缘故例应追缴外，升官调职或告老病殁，都可带走。中央因某个治事官职有缺而另授新官时，通常总是另铸新印，所以官印上的文字书写不可能长期保持统一。
这种一官一印的颁授办法，一直到南朝宋时，才有尚书左丞孔琳之上书提出疑问。他说，既然皇帝公侯的玉玺都是历代递用，并不使人怀疑他们是否拥有行使权力的资格，地位卑下的臣僚又何必非要把印绶佩在身上呢?宋武帝刘裕提倡节俭是出名的，便采纳了这个建议。“铁打的衙门流水的官”，官印移交制度，大抵就是从那个时候逐渐形成的。这种制度行之既久，给世人所带来的观念上的转变，就是官印乃某个部门某级机关行使权力的信物，这就同现代的“公章”概念贯通了，虽然在习惯上仍旧以“摘印”来指称罢官。
依循这种新的理念，更趋完备的官印制度的创立，应该说是发生在唐代。有个这样的例子：西晋赵王司马伦称帝时，为“取悦人情”，凡当年报名应试贤良方正、孝廉良将等文武各科的生员和16岁以上的太学生，以及各地州郡来京出差的吏员，一律免试授官，难以计数的官员，一概赐印，“金银冶铸，不给于印”，只好用木刻印章代替一时奇缺的金银铜材，舆论乃有“白板之侯”的取笑(《晋中兴书》)。
但是到唐初政体肇建时，作为中央最高政令执行机关的尚书省，只有总办公署(称都省或都堂)和吏、兵两部有印，其余各部司都用尚书省的印信发遣公事。因为官印只代表官府权力，而非官职，连左右仆射、侍郎郎中这等内阁首相、部长司长一级的高官，也无官印佩带。直到武则天当国时，体制改革，各部司的行政独立性加强，尚书省二十四司才分别置印。
相似的情况在其他部门也存在。唐德宗时薛之舆任谏议大夫，是隶属中书门下的正四品高官。因为并非一级行政机构，也无印信。薛以保密为由打报告给皇帝：“谏官所上封章，事皆机密，每进一封，须门下、中书两省印署文牒。每有封奏，人且先知。请别铸谏院印，须免漏泄。”这话听起来像是伸手讨权，还含有同中书门下闹独立性的意思。未几，此人被平调到中央大学做校长助理(国子司业)。
自德宗以后，内参密命，职权加重，号称“内相”，最终形成了与中书舍人分掌“内制”、“外制”的格局，作为一种标志，便是在宪宗初年的翰林院单独置印。官印脱离个人职级而完全成为施政机关的公章，经历了漫长的时间，从此，政出多元、职司重叠的麻烦大为减少。