琼州有个叫阳曰旦的本地人，一次从别的郡回家，在海上坐船时遇到飓风，船眼看就要翻了。忽然漂来一艘空船，他急忙跳上去。回头一看，原来同船的人都沉没了。风越来越大，他只能闭着眼任凭船被吹着走。没多久，风停了，他睁开眼，忽然看见一个岛屿，房屋连绵不断。他划着船靠近岸边，一直到了村口。
村里很安静，他走了坐了很久，连鸡狗的叫声都没听到。见一扇门朝北开着，周围松竹茂密。当时已是初冬，墙内不知是什么花，满树都是花苞。阳曰旦心里喜欢，犹豫着走了进去。远远听到琴声，他停下脚步。一个婢女从里面出来，大约十四五岁，轻盈艳丽。看到阳曰旦，转身就进去了。很快琴声停了，一个少年走出来，惊讶地问客人从哪里来，阳曰旦把经过告诉了他。少年又问他的家乡家族，阳曰旦也说了。少年高兴地说：“我们是亲戚啊。” 就揖请他进院子。
院子里的精致房舍很漂亮，又听到琴声。走进房里，见一个少妇端坐著，正在调琴弦，大约十八九岁，风采照人。见客人进来，她推开琴想走，少年拦住她说：“别躲，这正是你家的亲戚。” 于是替他们说明了缘由。少妇说：“是我的侄子啊。” 接着问他：“祖母还硬朗吗？父母多大年纪了？” 阳曰旦说：“父母四十多岁，都还好；只是祖母六十岁了，得了重病，走路都需要人扶。侄子实在不知道姑母是哪一房的，希望您说明，好回去告诉家里。” 少妇说：“路途遥远，很久没通音讯了。回去只要告诉你父亲‘十姑问候他’，他自然知道。” 阳曰旦问：“姑丈是什么家族的？” 少年说：“我姓晏，住在这海岛上。这里叫神仙岛，离琼州三千里，我住在这里也没多久。” 十姑走进里屋，让婢女给客人端来酒食，新鲜的蔬菜又香又美，也不知道叫什么名字。
吃完饭，晏少年带他四处游览，见园里的桃杏都含着花苞，阳曰旦觉得很奇怪。晏少年说：“这里夏天没有大热，冬天没有大寒，花开不断。” 阳曰旦高兴地说：“这真是仙境啊。回去告诉父母，可以搬家来这里做邻居。” 晏少年只是微笑。
回到书房点上蜡烛，阳曰旦见琴放在桌上，请求听一曲高雅的弹奏。晏少年就抚弦调柱。十姑从里面出来，晏少年说：“来，来！你给侄子弹一曲。” 十姑坐下，问侄子：“想听什么？” 阳曰旦说：“侄子向来没读过《琴操》，实在没什么想听的。” 十姑说：“只要随便命题，都能谱成曲调。” 阳曰旦笑着说：“海风引着船，可以作一曲吗？” 十姑说：“可以。” 立刻按弦弹奏，好像有现成的乐谱，曲调奔放；静静体会，就像自己还在船上，被飓风颠簸着。阳曰旦惊叹不已，问：“可以学吗？” 十姑把琴给他，让他试着拨弄，说：“可以教。想学什么？” 阳曰旦说：“刚才弹的《飓风操》，不知道要学几天？请先把曲谱录下来，我好吟诵。” 十姑说：“这没有文字，是我凭心意谱的。” 于是另拿一把琴，做出勾剔的手势，让阳曰旦学着做。阳曰旦学到半夜，音节大致合上了，晏少年夫妻才离开。阳曰旦全神贯注，对着蜡烛自己弹奏，久而久之，忽然领悟了妙处，不禁起身起舞。抬头时，忽然看见婢女站在灯下，惊讶地说：“你还没走吗？” 婢女笑着说：“十姑让我等您睡下，帮您关门窗、移灯烛呢。” 仔细看她，眼如秋水，神态娇媚极了。阳曰旦动了心，微微挑逗她，婢女低头微笑。阳曰旦越发着迷，起身去搂她的脖子。婢女说：“别这样！已经四更天了，主人快要起来了。我们彼此有意，明天晚上不晚。” 正在亲昵拥抱时，听到晏少年喊 “粉蝶”。婢女脸色大变，说：“糟了！” 急忙跑了。阳曰旦偷偷过去听，只听到晏少年说：“我本来就说这婢女尘缘没断，你偏要收留她。现在怎么样？该打三百鞭！” 十姑说：“她这心思一产生，就不能再使唤了，不如送给我侄子吧。” 阳曰旦又惭愧又害怕，回到书房吹灭蜡烛睡了。
天亮后，有个童子来伺候他洗漱，没再见到粉蝶。阳曰旦心里不安，怕被赶走。不久晏少年和十姑一起出来，好像没把这事放在心上，还考查他学琴的情况。阳曰旦弹了一曲，十姑说：“虽然还没入神，已经学会十分之九了，练熟就能达到精妙的境界。” 阳曰旦又请求教别的曲子。晏少年教他《天女谪降》，指法曲折，学了三天才能弹成曲调。晏少年说：“大致已经学会了，以后只需要熟练。精通这两首曲子，弹琴就没什么难的了。”
阳曰旦很想家，告诉十姑：“我住在这里，蒙姑母照顾很快乐；只是家里人会挂念。离家三千里，什么时候才能回去啊！” 十姑说：“这不难。原来的船还在，会帮你一阵顺风。你没有家室，我已经打发粉蝶去了。” 于是送他一把琴，又给他药说：“回去治祖母的病，不仅能去病，还能延年益寿。” 然后送他到海岸，让他上船。阳曰旦找船桨，十姑说：“不用这东西。” 于是解下裙子当帆，系在船上。阳曰旦担心迷路，十姑说：“别担心，只听任船帆飘荡就行。” 系好后，阳曰旦下了船。他心里难过，正要拜谢告别，南风突然刮起来，船已经离岸很远了。看船上有干粮，却只够一天吃的，心里埋怨他们小气。肚子饿了也不敢多吃，怕很快吃完，只吃了一个胡饼，觉得里外都香甜。剩下的六七个，他珍藏起来，也就不再饿了。
很快见夕阳要下山了，才后悔来时没要蜡烛。转眼间，远远看见有人烟，仔细一看，是琼州！他高兴极了。很快靠近岸边，解下裙子包着胡饼回家了。
进门后，全家又惊又喜 —— 原来他离家已经十六年了，这才知道他遇到了神仙。看祖母年老病重，更加衰弱，他拿出药给祖母服下，重病立刻好了。家人都奇怪地问他，他就讲述了所见所闻。祖母流泪说：“那是你十姑啊。” 当初，老夫人有个小女儿叫十娘，生得有仙姿，许配给了晏家。女婿十六岁时进山没回来，十娘等到二十多岁，忽然无病而逝，下葬已经三十多年了。听阳曰旦一说，大家都怀疑她没死。拿出那条裙子，还是家里她以前常穿的。胡饼分给大家吃，一块能让人一整天不饿，精神还很好。老夫人让人挖开十娘的坟查看，只有空棺材在里面。
阳曰旦当初聘了吴家的女儿还没娶，因为他多年没回来，吴家女儿就改嫁了。大家相信十姑的话，等着粉蝶来；可过了一年多也没消息，才开始商量别的婚事。邻县钱秀才，有个女儿叫荷生，名声远扬。十六岁，没出嫁就死了三个未婚夫。于是托媒人定下婚事，选了好日子成亲。荷生进门后，容貌绝美，阳曰旦一看，竟是粉蝶！惊讶地问以前的事，荷生茫然不知。原来她被赶走的时候，就是荷生出生的日子。阳曰旦常给她弹《天女谪降》，她总是托着下巴凝神沉思，好像有所领悟。