陕西延安的晏仲，与兄长晏伯同住，兄弟情谊深厚。晏伯三十岁去世，没有子嗣，嫂子也相继离世。晏仲悲痛不已，常想若生两个儿子，就过继一个给兄长延续香火。刚生下一个儿子，晏仲的妻子又死了。他担心续娶的妻子不贤，打算买个妾。邻村有卖婢女的，晏仲去相看，不太满意，被友人留下喝酒，醉后归家。
途中遇见已故的同窗梁生，邀请他到家中。晏仲竟忘了梁生已死，跟着他去了。进了门，发现不是梁生从前的家，询问原因，梁生说：“刚搬到这里。” 进屋准备找酒，梁生又说酒已喝完，让晏仲坐着等，自己提瓶去买酒。晏仲出门站在门外等，忽见一个妇人骑着驴经过，后面跟着个八九岁的童子，那面貌神色，和他兄长晏伯长得一模一样。晏仲心中悲恸，急忙上前追随，问道：“孩子你姓什么？” 童子说：“姓晏。” 晏仲大惊，又问他父亲的名字，童子说不知道。
说话间已到童子家，妇人下驴进门。晏仲拉住童子问：“你父亲在家吗？” 童子进去询问，不一会儿，一个老妇人出来窥探，竟然是他的嫂子。嫂子惊讶叔叔怎么来了，晏仲大悲，跟着进了屋。见房屋院落整洁，问：“兄长在哪？” 嫂子说：“讨债还没回来。” 问：“骑驴的是谁？” 回答说：“这是你兄长的妾甘氏，生了两个儿子，老大阿大去集市还没回来，你见到的是阿小。”
坐了很久，酒渐渐醒了，晏仲才醒悟所见都是鬼。但因兄弟情谊深切，也不怎么害怕。嫂子置办酒饭，晏仲急着想见兄长，催促阿小去找。过了很久，阿小哭着回来说：“李家欠的债不还，反而和父亲打闹。” 晏仲听了，和阿小奔去，见两人正把兄长按在地上。晏仲大怒，挥拳冲进去，那两人都被打倒在地。他急忙扶起兄长，李家的人都逃了。晏仲追上一个，狠狠揍了一顿才住手。他拉着兄长的手，顿足哭泣，兄长也哭了。
回到家，全家慰问，置办酒食，兄弟相互庆贺。忽然一个少年进来，年纪约十六七岁，晏伯叫他阿大，让他拜叔叔。晏仲扶着他，哭着对兄长说：“大哥在地下有两个儿子，却无人扫坟；弟弟我又没有妻子儿女，怎么办？” 晏伯也很悲伤。嫂子说：“让阿小跟叔叔去吧，也行。” 阿小听了，依偎在叔叔肘下，眷恋着不肯离开。晏仲抚摸着他，问：“你愿意跟我走吗？” 阿小回答：“愿意。” 晏仲想，鬼虽然不是人，但有个伴也比没有强，因此脸上露出了笑容。晏伯说：“跟你去后不要娇惯他，给他吃些血肉，让他在太阳下晒，过了中午再进屋。六七岁的孩子，经历春到夏，就能重新长出骨肉，可以娶妻生子，只是担心他寿命不长。”
说话间，有个少女在门外偷听，神态温婉。晏仲怀疑是兄长的女儿，便问兄长。兄长说：“她叫湘裙，是我妾的妹妹，孤苦无依，寄居在这里十年了。” 晏仲问：“许配人家了吗？” 晏伯说：“还没有，最近有媒人说东村田家。” 少女在窗外小声说：“我不嫁田家放牛的。” 晏仲听了很动心，不便明说。
不久晏伯起身，在书房设床，留弟弟住宿。晏仲本不想留，因留恋湘裙，想探探兄长的心意，就告别兄长去睡了。当时正是初春，天气还冷，书房向来不生火，晏仲冷坐着。想喝点酒，不一会儿见阿小推门进来，把一杯肉羹和一斗酒放在桌上。晏仲问：“谁做的？” 阿小回答：“湘姨。” 酒快喝完时，阿小又用灰盖好盆里的火，放在床下。晏仲问：“爹娘睡了吗？” 阿小答：“睡了很久了。”“你睡在哪里？”“和湘姨同床睡。” 阿小等叔叔睡了，才关上门离开。晏仲觉得湘裙聪慧懂事，越发爱慕她，而且她能照顾阿小，想娶她的心思更坚定了，在床上辗转反侧。
早起后，晏仲告诉兄长：“弟弟孤身一人，希望大哥留意。” 晏伯说：“我们家也不是穷得一无所有，自然会有人选。地下即使有美人，恐怕对弟弟没什么好处。” 晏仲说：“古人也有鬼妻，有什么妨害？” 晏伯明白了他的意思，说：“湘裙也不错，但要用巨针刺她的人迎穴，如果血出不止，就可以做活人的妻子，怎么能草草行事。” 晏仲说：“有湘裙照顾阿小，就可以了。” 晏伯只是摇头。晏仲不停地请求，嫂子说：“试试抓住湘裙强行刺一下检验，不行就算了。” 于是握着针出门，遇到湘裙，急忙抓住她的手腕，只见血痕还湿着。原来湘裙听晏伯说话时，已经自己试过了。嫂子放手笑了，回去告诉晏伯：“她早就想做个有情郎了，你还为她担心呢？” 甘氏听了生气，走近湘裙，用手指着她的眼眶骂道：“不知羞耻的淫婢！想跟叔叔走吗？我一定不如你的愿！” 湘裙又愧又愤，哭着想要寻死，全家一片混乱。晏仲非常惭愧，告别兄嫂，带着阿小离开。晏伯说：“弟弟先回去，阿小别让他再来了，怕损伤他的生气。” 晏仲说：“好。”
回到家，晏仲谎称阿小年龄大了些，说是兄长卖婢的遗腹子。众人见阿小长得很像晏伯，也相信他是晏伯的儿子。晏仲教他读书，总是让他抱着书在太阳下诵读。起初阿小觉得苦，时间久了渐渐习惯。六月里，桌子热得烫人，阿小边玩边读，一点也不抱怨。他很聪明，每天能读半卷书，夜里和叔叔同床，常常背诵课文，晏仲很欣慰。又因为不忘湘裙，所以不再有娶妾的想法。
一天，有媒人来给阿小提亲，家中没有女主人，晏仲心里很着急。忽然甘嫂从外面进来，说：“阿叔别怪，我把湘裙送来了。因为这丫头不知羞耻，我故意羞辱了她。阿叔这样出众，她不跟你，还想跟谁呢？” 晏仲见湘裙站在甘嫂身后，心里很高兴，请嫂子坐下，说有客人在堂屋，就快步出去了。过了一会儿回来，甘氏已经走了。湘裙卸下妆饰进了厨房，只听见刀砧声不断。不久，菜肴摆满了桌子，烹饪得很合口味。客人走后，晏仲进房，见湘裙化好妆坐在屋里，于是两人交拜成礼。
到了晚上，湘裙仍想和阿小一起睡。晏仲说：“我想用阳气温暖你，不能分开。” 于是让湘裙住在别的房间，只是晚上去和她喝杯酒欢聚罢了。湘裙抚养前妻的儿子如同亲生，晏仲越发觉得她贤良。
一天晚上，夫妻亲密交谈，晏仲开玩笑问：“阴世有美人吗？” 湘裙想了很久，回答：“没见过，只有邻女葳灵仙，大家都认为她美，不过容貌也和常人一样，只是善于修饰罢了。她和我往来最久，我心里私下鄙视她行为放荡。如果想见她，马上就能叫来，但这种人，不可招惹。” 晏仲急切地想见一见，湘裙拿起笔好像要写信，接着又扔掉笔说：“不行，不行！” 晏仲再三强求，湘裙才说：“别被她迷惑了。” 晏仲答应了。湘裙于是撕纸画了几张像符一样的东西，在门外焚烧。
过了一会儿，门帘晃动，门钩作响，传来吃吃的笑声。湘裙起身拉她进来，只见她高髻翘发，如同画中美人。扶她坐在床头，喝酒叙谈别后情况。刚见到晏仲时，葳灵仙还用红袖掩口，不怎么多说话，几杯酒后，就嬉戏狎昵毫无顾忌，渐渐伸出一只脚压在晏仲的衣服上。晏仲心迷神乱，魂飞魄散，只是眼前有湘裙碍事。湘裙又故意防备，片刻不离晏仲身边。葳灵仙忽然起身，撩帘出去，湘裙跟着她，晏仲也跟了出去。葳灵仙抓住晏仲，快步进入别的房间。湘裙十分恼恨，却无可奈何，愤愤地回房，听任他们去了。
不久晏仲进来，湘裙责备他说：“不听我的话，以后恐怕想拒绝也不行了。” 晏仲怀疑她嫉妒，不高兴地走了。第二天晚上，葳灵仙不请自来。湘裙很讨厌见她，傲慢地不施礼，葳灵仙竟拉着晏仲一起走了。这样过了几个晚上，湘裙看见葳灵仙来，就辱骂她，却也无法拒绝。一个多月后，晏仲病得起不了床，才大为后悔，叫湘裙和自己一起睡，希望能避开葳灵仙。但昼夜防备稍有松懈，人鬼就又在一起了。湘裙拿棍子追赶葳灵仙，鬼生气地和她争斗，湘裙柔弱，手脚都受了伤。晏仲的病越来越重，湘裙哭着说：“我有什么脸面见我姐姐啊！”
又过了几天，晏仲昏死过去。起初看见两个差役拿着文书进来，不知不觉跟他们走了。途中担心没有路费，邀请差役顺便经过兄长家。兄长见了他，惊骇失色，问：“弟弟最近做了什么？” 晏仲说：“没什么，只是中了鬼邪。” 如实告诉了兄长。晏伯说：“原来是这样。” 于是拿出一包白银，对差役说：“请姑且收下。我弟弟罪不该死，请放他回去，我让儿子跟你们去，或许没有不顺利的。” 便叫阿大陪差役喝酒，转身回家，把事情告诉甘氏，让她到隔壁叫葳灵仙。
不一会儿葳灵仙来了，看见晏仲想逃，晏伯揪回她骂道：“淫婢！活着是荡妇，死了是贱鬼，被大家看不起很久了，又来害我弟弟！” 立刻打她，打得她云鬓散乱，妖媚的容貌顿时减色。过了很久，一个老妇人来了，伏地哀求。晏伯又责备老妇人纵容女儿荒淫，呵斥了好一会儿，才让她和葳灵仙一起走了。
晏伯送晏仲出门，飘忽间已到家门口，一直到卧室，晏仲豁然醒悟，才知道刚才自己已经死了。晏伯责备湘裙说：“我和你姐姐认为你贤良，所以让你跟我弟弟，你反而想害死他！如果不是顾及名分，就该打你！” 湘裙又惭愧又害怕，哭泣着趴在地上谢罪。晏伯看着阿小高兴地说：“孩子居然像活人一样了！” 湘裙想出去做饭，晏伯说：“弟弟的事还没办完，我没时间吃。” 阿小十三岁，渐渐知道依恋父亲，见父亲要走，流着泪跟着。晏伯说：“跟叔叔最快乐，我很快就会再来。” 转身就不见了，从此不再有音信。
后来阿小娶了媳妇，生了一个儿子，也是三十岁去世。晏仲抚养他的孤儿，就像当初抚养阿小一样。晏仲八十岁时，他的儿子二十多岁了，于是分家。湘裙没有生育，一天对晏仲说：“我先到地下驱除狐狸好吗？” 盛装上床去世了。晏仲也不悲伤，半年后也去世了。
异史氏曰：“天下像晏仲这样友爱的人，有几个呢！他应该不死而且增加寿命。阳间绝后而阴间有子嗣，这都是他不忍兄长绝后的诚心所感动的；在人间没有这样的道理，在天上难道有这样的命数吗？地下生子愿意继承家业的，想来也不少，只恐怕像晏仲这样贤良的兄弟，不肯收留抚恤罢了！”