众所周知，纪晓岚的烟瘾十分大，世人称他为“纪大烟袋”。除此之外，纪晓岚还有一个癖好，那就是沉迷于女色不可自拔，是位重度性瘾患者。纪晓岚17岁的时候已经娶了邻县县令的女儿马氏，马氏比纪晓岚大三岁。

　　俩人成婚后异常恩爱，但是对纪晓岚来说，一位女人远远不够，随后又陆续娶了6位侍妾。纪晓岚晚年时候，依然纵情于女色，风流程度不减年轻时候。根据相关记载说，纪晓岚性瘾十分大，如果一天不亲近女人的话，他就感觉全身难受。手脚不自主的抽筋，皮肤也仿佛要炸裂了一般。

　　如果数日不亲近女色，纪晓岚的眼睛就发红。后来在采蘅之所著《虫鸣漫录》一书中对纪晓岚性瘾这一嗜好也有详细的记载。文中说，纪晓岚是野怪转世，每天要吃大量的肉，一天可以亲近5个女人。早上亲近女色一次，早朝回来一次，中午一次，傍晚一次，临睡前还要亲近一次。在外出游兴起的话，纪晓岚也会亲近女色。

　　除此之外，清朝孙静庵所著《栖霞阁野乘》一书中也提到纪晓岚性欲十分旺盛。

　　纪晓岚家中有一名叫郭彩符的侍妾，纪晓岚曾在《槐西杂志》一书中专门介绍了郭彩符的人生经历。郭彩符嫁给纪晓岚时，时年13岁，当时纪晓岚已经60多岁了。

  纪晓岚十分喜欢郭彩符，郭彩符去世后，纪晓岚常常拿出郭彩符的遗物思念她。后来，纪晓岚还为郭彩符作了两首诗，都表达出对郭彩深深的思念之情。