李象先是寿光（今山东省寿光市）有名的人物。他上辈子是某个寺庙里负责烧火做饭的和尚，没生病就去世了。​他的魂魄飘出来，停在牌坊顶上。往下看，街上的行人头顶都有火光。那其实是人体内的阳气。​天黑以后，他想牌坊上不能久留。但其他屋子都黑漆漆的，不知道该往哪儿去。只有一户人家还亮着灯，他就飘了过去。​到了门口，他已经变成了婴儿。母亲要喂他奶，他一看见奶就害怕。可肚子实在太饿，只好闭着眼勉强吮吸。​过了三个多月，他就不再吃奶了。再喂奶，他就吓得哭起来。母亲只好用米汁（指淘米水沉淀后得到的浓汁）掺着枣子、栗子喂他，他才慢慢长大。这就是李象先。​小时候到那座寺庙，看见庙里的和尚，他都能叫出名字。到老了，他还是怕吃奶。​
异史氏说：“李象先学问渊博，是山东一带品行高洁的读书人。儿子早年就显贵了，他自己却只凭着文才学问过完一生，这难道是佛家所说的没修来福报功业吗？他的弟弟也是有名的读书人。生来有难言之隐的病，几个月才能勃起一次；勃起时就急忙起身，不管有没有客人，从外面喊着进房，这时丫鬟婆子都赶紧躲开；要是到了门口又软了，就不进房间直接回去了。兄弟俩都是奇特的人啊。”