最初的墨是天然矿物，故许慎《说文解字》认为“墨”是“墨土”的会意字。解放后，湖北云梦地区出土了一块秦代的墨，呈圆柱形，质地粗硬；同时出土的还有石砚一方、研石一块。那时的墨要用研石粉碎研磨后才能使用。大约到了汉代才有烟煤加胶粘合成的人造墨。



常用制墨原料有油烟、松烟两种。油烟墨由桐油烟制成，墨色黑而有光泽，能显出墨色浓淡的细致变化，宜用于山水画。松烟墨暗而无光，多用于翎毛及人物的毛发。山水画不宜用。挑选墨要看墨色，发紫光的最好，墨色次之，青色又次之，呈灰色的劣墨不能用；还可听声音，好的墨扣击时其声清响，研磨时声音细腻；劣质墨声音重滞，研磨时有粗糙响声。作画宜用三年以上陈墨，但年代久远脱了胶的败墨不能用。磨墨要用清水，用力均匀，按顺时针方向转圈慢磨，直到墨汁稠浓为止。作画用墨要新鲜现磨，因存放过久的宿墨中有浓缩后的渣滓，用不好有脏黯之弊。墨中以徽墨（产于安徽徽州地区）最著名。北就、天津等地生产的书画墨汁，使用方便，已为许多画家习用。但墨汁中胶重，最好略加清水，再用墨锭研匀使用，如此墨色更佳。