乾隆时期文坛上最有影响的人物无疑就是纪晓岚。纪晓岚生于雍正二年，即公元1724年，年长蔡以台5岁。但他年寿康永，一直活到嘉庆十年(1805年)。因此，一生所获名位、事功为蔡以台远远不及。倘若从乾隆三年(1738年)纪晓岚与蔡以台一同拜董邦达为师学习书法、绘画算起，到蔡以台离京探母止，纪、蔡两人当有二十多年的交往。在这期间，纪晓岚于乾隆十二年(1747年)考中解元、乾隆十九年(1754年)考中进士，蔡以台于乾隆十五年(1750年)考中举人、于乾隆二十二年(1757年)考中状元(进士第一名)。璀璨人生的起步，他们算是肩并着肩的兄弟。

　　乾隆三十三年(1768年)，纪晓岚的生活有了大波折，他被流放去了新疆。此时，回了南方故里的蔡以台或许已经染病辞世。厄运临头，处于寂寞中的纪晓岚或许有梦梦到了师弟蔡以台。于是，他把蔡以台写进了自己的小说中：

　　蔡季实殿撰有一仆，京师长随也，狡黠善应对，季实颇喜之。忽一日，二幼子并暴卒，其妻亦自缢于家，莫测其故。姑敛之而已。其家有老妪私语人曰：是私有外遇，欲毒杀其夫，而后携子以嫁，阴市砒制饼饵，待其夫归，不虞二子窃食，竟并死，妇悔恨莫解，亦遂并死。然妪昏夜之中，窗外窃听，仅粗闻秘谋之语，未辨所遇者为谁，亦无从究诘矣。其仆旋亦发病死，死后，其同侪窃议曰：主人惟信彼，彼乃百计欺主人，他事毋论，即如昨日四鼓诣圆明园侍班，彼故纵驾车骡逸，御者追之复不返，更漏已促，叩门借车必不及，急使雇倩，则曰：风雨将来，非五千钱人不往。主人无计，竟委曲从之。不太甚乎?奇祸或以是耶?季实闻之曰：是死晚矣，吾误以为解事人也。

　　陈枫崖光禄言：康熙中，枫泾一太学生，尝读书别业。见草间有片石，已断裂剥蚀，仅存数十字，偶有一二成句，似是夭逝女子之碣也。生故好事，意其墓必在左右，每陈茗果于石上，而祝以狎词。越一载余，见丽女独步菜畦间，手执野花，顾生一笑。生趋近其侧，目挑眉语，方相引入篱后灌莽间。女凝立直视，若有所思，忽自批其颊曰：“一百余年，心如古井，一旦乃为荡子所动乎?”顿足数四，奄然而灭。方知即墓中鬼也。蔡修撰季实曰：“古称盖棺论定。观于此事，知盖棺犹难论定矣。是本贞魂，乃以一念之差，几失故步。”晦庵先生诗曰：“世上无如人欲险，几人到此误平生。”谅哉!

　　《阅微草堂笔记》中的这两则故事都提到了“蔡季实”。“季实”是蔡以台的字，“殿撰”与“修撰”意思相同，是蔡以台当日在翰林院的职衔。前一则故事，讲的是因果报应，蔡以台是当事人，表现出诚笃、仁厚的性格，估计纪晓岚先前对师弟的易轻信他人的毛病是有较深印象的;后一则因为事情“发生”在枫泾，所以自然想起枫泾籍师弟蔡以台的评论。或许这个故事原本就是蔡以台讲给纪听的，纪现在写成文字，自然有份缅怀的感情在。

　　除纪晓岚外，乾隆朝最优秀的诗人钱载、最优秀的戏曲作家蒋士铨都和蔡以台有过交往。钱载是浙江嘉兴人，与蔡以台有同乡之谊，彼此间有书画、诗文往还。蒋士铨有一首题为《迈陂塘.题潞河送客图饯蔡兰圃归觐次戴匏斋韵》的词传世，其中的“蔡兰圃”就是蔡以台。