据正史记载，从整个清朝来看，纪晓岚可以算是在文化方面屈指可数的几位代表性人物之一。在做官方面，一直做到了协办大学士的职位之外，在文化方面，在乾隆皇帝的授命下，领导编篡了当时最具有想象力的“形象工程”——《四库全书》，并著有一部以谈鬼怪故事为主的《阅微草堂笔记》。
《南巡秘记补编》里说，乾隆三下江南后，有一次偶入四库馆，和纪晓岚闲谈天子巡狩。纪晓岚是个书呆子，原原本本把三代之所以巡狩的必要性说了一遍，又说秦皇游幸就大可不必，至于后世隋炀帝屡幸江都，明朝正德嬉戏南北，都不是正道，做皇帝的只要洗濯其心，用贤退不肖，天下自然大治，过多巡幸完全没有必要。
乾隆越听越火，认为纪晓岚是在借古讽今，有意诽谤自己，等纪晓岚话音刚落，即变色骂道：“你纪晓岚不过是个书生，还敢妄谈国事！朕不过觉得你文学尚优，这才让你领修《四库》全书，实际不过把你当娼优养着罢了，你跟我谈什么国事？”这下好了，纪晓岚“娼优大学士”的外号在朝野上下，无人不知。
其实历史上的纪晓岚不但得了个“娼优大学士”的外号，而且其本人另一面也被人记录下来：暴饮和好色。
从“食”的方面说，他的癖好是只吃猪肉，不吃米、面，而且饭量尤佳，动辄每顿吃掉上十盘猪肉。《清朝野史大观》记载，他这饮食习惯相当地固执，请客吃饭时，尽管桌上肴馔精致，但他也只是在一边举着筷子客客气气地劝大家多吃一些，自己是不吃的。但是有一天他约了别人闲聊，桌边上放了几斤火腿，他“啖之立尽”。另有本笔记小说《啸亭杂录》，上面说纪晓岚在八十高龄的时候，“日食肉数十斤，终日不啖一谷，真奇人也。”
相对于“食”的一面，纪晓岚在“色”字上面的表现，更是强烈得让人诧异万分。对于女人的嗜好，采蘅之的《虫鸣漫录》卷2说:“纪文达公自言乃野怪转身，以肉为饭，无粒米入口，日御数女。五鼓如朝一次，归寓一次，午间一次，薄暮一次，临卧一次。不可缺者。此外乘兴而幸者，亦往往而有。”。
在当奉旨作《四库全书》执行总编的时候，有段时间工作巨忙，天天加班。乾隆皇上临时过来审稿，发现纪晓岚的状态不对劲，“两睛暴赤，颧红如火”，连忙问这是怎么了。纪晓岚赶紧说了实话。这乾隆就给乐翻了，赶紧派了两位宫女过来陪他。等到图书编辑工作结束，更把这两位宫女赐给了纪晓岚。纪晓岚由此相当得意，逢人便说自己是“奉旨纳妾”。要在一般情况下，纪大人的性生活是非常有规律的，每一天要跟不同的女人做五次爱，“五鼓如朝一次，归寓一次，午间一次，薄暮一次，临卧一次。为每日不可缺者。”在这五次之外，还经常会乘兴来一发。
纪晓岚是个聪明人，他的聪明可能在当时往往被人视为可笑之物，或者有时聪明反被聪明误吧。
