乌纱帽原来只是民间常戴的一种便帽。早在东晋成帝时，凡在都城建康（南京）宫中做事的人，都戴一种用黑纱做的帽子用来裹头发，人称“幞头”。

    据说“乌纱帽”来自南朝时期王休仁的点子。王休仁创制乌纱帽，并没有什么了不得的原因，纯粹是赶时髦，想做顶和别人不一样的帽子来戴。他将一块黑色的纱布，四边抽扎起。王休仁戴着自制的小帽在街上走的时候，果然引起人们的注意。由于材料便宜、制作简单、式样大方，所以后来有不少人仿戴。

    唐代白居易《感旧纱帽》诗中写道：“昔君乌纱帽，赠我白头翁。”这说的是乌纱帽可以当作馈赠朋友的礼品。白居易《同诸客嘲雪中马上妓》一诗中还描写到一位“银篦稳篸乌罗帽，花襜宜乘叱拨驹”的歌妓，原来乌纱帽还可以戴在歌妓的头上。

    北宋初年，有人将幞头改装为一种纱帽。宋太祖赵匡胤登基后，为防止议事时朝臣交头接耳，就下诏书改变乌纱帽的样式：在乌纱帽的两边各加一个翅，并在乌纱帽上装饰不同的花纹，以区别官位的高低。这样只要脑袋一动，软翅就颤动，皇上居高临下，看得清清楚楚。