海瑞在中国人心目中，已经是正义的化身。作为一个封建时代的官员，他的清廉确实让人敬佩。但是我们也应该看到，人性也有缺点，对于铁面无私的海瑞，也有为人诟病的一面。作为当代人，既要看到他高大的形象，也要看到阳光下的阴影。

　　海瑞家里有个五岁的女儿，有一次，他看女儿正在吃一个饼。他好奇的问是谁给的，女儿告诉他是一个仆人给的。海瑞大怒，说我海瑞怎么有这样的女儿，一个女儿家怎么能随随便便吃男人给的东西，你不是我女儿。除非你饿死了，才配得上我海瑞的女儿。吓得女儿啼哭不止，当真不敢吃东西，家里人怎么哄她劝她也没有用，绝食七天而死。

　　这个故事记录在姚叔祥的《见只编》和周亮工的《书影》中，对于今天的人来说，实在是一个悲惨的故事。但记录它的人不一定这么想，以当时的礼教观，想必是赞扬海瑞对于封建礼教的维护。

　　海瑞的私生活曾被政敌所攻击，沈德符所著《万历野获编·补遗》记载，房寰曾上书攻击海瑞“居家九娶而易其妻”。海瑞一生娶妻三人，又有小妾多人，有所记载的都有王氏、潘氏、许氏、丘氏、韩氏等等。他还曾经休掉两位妻子，第一个妻子生了两个女儿，被海瑞休掉了;第二个妻子刚过门不到一个月即被赶回家，第三个妻子则于1568年极为可疑的去世。

　　即使是花甲之年，海瑞还娶了两个美貌的侍妾，尽相争宠;海瑞在七十多岁时还有邱姓小妾，据说她还生了一个儿子，但长到三岁就夭折了。海瑞纳这么多小妾，不仅在现代社会是不允许的，哪怕是在明朝，这种对待女性的态度和婚姻道德标准，也成为政敌攻击、世人讥讽的话柄。