锦衣卫原先是军事建制。明初的军制比较简单，其基层单位是“卫”和“所”，京城的禁卫军所辖卫所为48处。朱元璋改革禁卫军，建立了12个亲军卫，其中最重要的就是“锦衣卫”。锦衣卫的首领称为指挥使，由皇帝的亲信武将担任，很少由太监担任。

　　其职能是：“掌直驾侍卫、巡查缉捕”，即一部分是负责执掌侍卫、展列仪仗和随同皇帝出巡的锦衣卫，基本上与传统的禁卫军没什么两样。这些人虽名为“将军”，其实只负责在殿中侍立，传递皇帝的命令，兼做保卫工作。这些人都不是等闲之辈，一个个长得牛高马大，虎背熊腰，而且中气十足，声音洪亮，从外表上看颇有威严，对人有一定震慑作用。

　　朱元璋在建国后，因循历代稗政设锦衣卫镇抚司，掌本卫刑名，兼理军匠，其下有专司侦察的官校。锦衣卫于是开始兼掌缉捕，刑狱之事。朱元璋猜忌多疑，怕大臣不忠，因此充满戒心，要求大臣对他绝对服从，忠心不二，出朝之后也要对他恭敬，便排密探四处巡视。这就是锦衣卫以及明朝特务机构的雏形。

　　后来朱元璋以亲信密探曰“检校”，负责侦察在京中官吏的大小之事。洪武十三年，发生胡惟庸案，朱元璋对臣下更加不信任，至洪武十五年(1382年)，正式建立锦衣卫组织。到了朱棣当皇帝的时候，为了压制臣民对他的不满，于是恢复了锦衣卫的权力而且有所加强。

　　“三法司”(即刑部，都察院与大理寺)无权干涉锦衣卫所处理的案件。通常锦衣卫在逮捕嫌犯之前，需由刑科给事中签批“驾帖”才可行事，作用相当于现代的逮捕令。早期加入锦衣卫都会经过严格的审查和考核，要求良民，无犯罪纪录，后经过训练与挑选最终决定。

　　后期若有锦衣卫逝世，他的亲属，如亲儿或是亲兄弟，可成为其替补，无儿或兄弟则会于市上远择合适的