锦衣卫原先是军事建制。明初的军制比较简单，其基层单位是“卫”和“所”，京城的禁卫军所辖卫所为48处。朱元璋改革禁卫军，建立了12个亲军卫，其中最重要的就是“锦衣卫”。锦衣卫的首领称为指挥使，由皇帝的亲信武将担任，很少由太监担任。其职能是：“掌直驾侍卫、巡查缉捕”，即一部分是负责执掌侍卫、展列仪仗和随同皇帝出巡的锦衣卫，基本上与传统的禁卫军没什么两样。这些人虽名为“将军”，其实只负责在殿中侍立，传递皇帝的命令，兼做保卫工作。这些人都不是等闲之辈，一个个长得牛高马大，虎背熊腰，而且中气十足，声音洪亮，从外表上看颇有威严，对人有一定震慑作用。锦衣卫中负责“巡查缉捕”，则是锦衣卫区别于其他各朝禁卫军的特殊之处。
朱元璋建立锦衣卫的初衷是用来做仪仗礼仪，后来由于他大肆屠戮功臣，认为司法机构如刑部、大理寺、都察院都不好用，于是将锦衣卫的保卫功能提升起来，使其成为皇帝的私人警察。负责侦缉刑事的锦衣卫机构是南北镇抚司，其中北镇抚司专理皇帝钦定的案件，拥有自己的监狱，可以自行逮捕、刑讯、处决，不必经过一般司法机构。南北镇抚司下设五个卫所，其统领官称为千户、百户、总旗、小旗，普通军士称为校尉、力士。校尉和力士在执行缉盗拿奸任务时，被称为“缇骑”。缇骑的数量，最少时为1000，最多时多达60000之众。锦衣卫官校一般从民间选拔孔武有力、无不良记录的良民入充，之后凭能力和资历逐级升迁。同时，锦衣卫的官职也允许世袭。
明朝的前两代皇帝朱元璋是贫寒子弟出身，朱元璋起兵夺取天下，朱棣是靠武力夺取了侄儿的江山，由于这种出身的特殊性，明朝对皇权的维护有其他朝代所没有的强烈欲望。这就使得锦衣卫“巡查缉捕”的职能无限度地扩大了。锦衣卫的指挥使利用职务之便，不遗余力地制造事端，既打击异己，又作为自己升迁的资本。
如明成祖时的纪纲、明武宗时的钱宁等，在他们掌权时，缇骑四出，上至宰相藩王，下至平民百姓，都处于他们的监视之下，对他们的命令只要稍有拂逆，就会家破人亡，全国上下笼罩在一片恐怖气氛中。
臭名昭著的北镇抚司大牢中更是关满了各种各样无辜的人们，死于锦衣卫酷刑之下的正直人士更是不计其数。更为可怕的是，这种恐怖的氛围，与唐武则天时期的短期出现不同，明朝几乎是绵绵不绝，这种无节制的滥捕极大地影响了皇帝与官僚机构之间的关系，使百官、民众、军队与皇帝离心离德，有人甚至评价道，明朝不是亡于流寇，而是亡于厂卫。
传说有一次明朝的开国重臣宋濂，秉性老实忠厚，年纪虽老，办法却还算得力，让皇帝满意。有一天下朝回家，大概因为总是早起上朝，加上年纪大了，体力有些不支，过于劳累，就顺口赋诗一首：“四鼓咚咚起着衣，午门朝见尚嫌迟。何时遂得田园乐，睡到人间饭熟时。”第二天上朝，朱元璋一见宋濂便说：昨天做得好诗!可是我并没有嫌你迟呀，还是改成“忧”吧。吓得宋濂赶忙拜倒谢罪。当朝宰相只不过在自己家中偶尔感叹一下，没想到第二天就传到了皇帝的耳朵里，可见锦衣卫势力之大。
锦衣卫另一项著名的职能就是“执掌廷杖”。廷杖是皇帝用来教训违纪的士大夫的一项酷刑。一旦哪位官员触怒了皇帝，被宣布加以廷杖，他就立刻被扒去官服，反绑双手，押至午门行刑。
在那里，司礼监掌印太监和锦衣卫指挥使一左一右，受刑者裹在一个大布里，随着一声“打”字，棍棒就如雨点般落在他的屁股上。行刑者为锦衣卫校尉，他们都受过严格训练，技艺纯熟，能够根据司礼太监和锦衣卫指挥使的暗示准确地掌握受刑人的生死。如果这两人两脚像八字形张开，表示可留杖下人一条活命;反之，如果脚尖向内靠拢，则杖下人就只有死路一条了。
杖完之后，还要提起裹着受刑人布的四角，抬起后再重重摔下，此时布中人就算不死，也去了半条命。廷杖之刑对士大夫的肉体和心灵都是极大的损害，但皇帝对此乐此不疲，锦衣卫也就对它情有独钟了。