昆阳有个曾翁，是当地的世家大族。曾翁刚去世还没入殓，两只眼眶里流出像墨汁一样的泪水。他有六个儿子，都不明白这是怎么回事。次子曾悌，字友于，是县里的名士，认为这是不祥之兆，告诫兄弟们各自谨慎行事，不要让死去的父亲痛心；可一半的兄弟都嘲笑他迂腐。
起初，曾翁的正妻生下长子曾成，长到七八岁时，母子俩被强盗掳走。曾翁续娶了妻子，生下三个儿子：曾孝、曾忠、曾信。妾生下三个儿子：曾悌、曾仁、曾义。曾孝因为曾悌等人出身卑贱，鄙视他们，不愿和他们为伍，就联合曾忠、曾信结成一党。即使和客人喝酒时，曾悌等人从堂下经过，他也傲慢地不行礼。曾仁、曾义都很气愤，和曾友于商量，想报复他们。曾友于百般劝说，两人不听；但曾仁、曾义年纪最小，听了哥哥的话，最终还是作罢。
曾孝有个女儿，嫁给了县里的周家，后来病死了。曾孝纠集曾悌等人去殴打亲家母，曾悌不肯。曾孝很生气，让曾忠、曾信集合族中的无赖，去捉拿周妻，狠狠鞭打，还乱扔粮食、毁坏器具，把家里砸得一干二净。周家告到官府，县官发怒，拘捕了曾孝等人，准备革去他们的功名。曾友于害怕了，去见县官并主动承担责任。曾友于的品行向来被县官看重，兄弟们因此没受什么苦。曾友于又到周家负荆请罪，周家也敬重曾友于，官司就平息了。
曾孝回家后，始终不感激曾友于。不久，曾友于的母亲张夫人去世，曾孝等人不穿丧服，像往常一样宴饮。曾仁、曾义更加气愤。曾友于说：“这是他们无礼，对我有什么损害呢。” 到安葬时，曾孝等人把持墓门，不让张夫人和曾翁合葬。曾友于只好把母亲葬在墓道里。没过多久，曾孝的妻子去世，曾友于招呼曾仁、曾义一起去奔丧。两人说：“‘期服’（服丧一年）都谈不上，还谈什么‘功服’（服丧九个月或五个月）！” 再劝他们，两人吵着散开了。曾友于只好自己去，哭吊得十分悲痛。
隔墙听见曾仁、曾义又敲鼓又吹笛，曾孝大怒，纠集弟弟们去殴打他们。曾友于拿着棍子率先跟去。进入曾仁、曾义家，曾仁发觉后先逃走了。曾义刚翻墙，曾友于从后面把他打趴在地。曾孝等人拳打脚踢，不停地殴打。曾友于横身挡住他们。曾孝发怒，指责曾友于。曾友于说：“责备他们，是因为他们无礼，但罪不至死。我不包庇弟弟的过错，也不助长哥哥的凶暴。如果怒气难消，就打我吧。” 曾孝于是反过来用棍子打曾友于，曾忠、曾信也帮着打哥哥，声音震动乡邻，众人聚集劝解，才散开。曾友于就拄着拐杖去哥哥家请罪，曾孝把他赶走，不让他在丧礼的住处停留。而曾义伤势很重，不能吃喝。曾仁代写状纸告到官府，控告曾孝等人不给庶母穿丧服。县官下令拘捕曾孝、曾忠、曾信，让曾友于陈述情况。曾友于因为面部受伤，不能去官府，只写了文书说明情况，哀求停止诉讼，县官就撤销了案子。曾义也渐渐痊愈。从此，兄弟间的仇怨更深了。曾仁、曾义年幼体弱，常常被打骂，埋怨曾友于说：“别人都有兄弟，唯独我们没有！” 曾友于说：“这两句话，应该是我说的，你们两个弟弟怎么能说呢！” 于是苦苦劝说他们，最终还是不听。曾友于就关起门，带着妻子儿女借住在别处，离家五十多里，希望不再听到家里的事。
曾友于在家时，虽然不帮助弟弟们，但曾孝等人还有些顾忌；他离开后，哥哥们一有不如意，就叫骂曾仁、曾义的家门，侮辱他们母亲的名讳。曾仁、曾义估量不能反抗，只能关起门，想趁机刺杀他们，出门就怀揣刀子。
一天，被强盗掳走的长兄曾成，忽然带着妻子逃回来了。兄弟们因为家产早已分了，商量了三天，竟然没地方安置他。曾仁、曾义暗自高兴，把他接去共同奉养，还去告诉了曾友于。曾友于很高兴，回来和他们一起拿出田宅给曾成居住。哥哥们气他讨好曾成，上门羞辱他。而曾成长期在强盗窝里，习惯了勇猛强悍，大怒说：“我回来，没人肯给我一间屋；幸亏三弟念及手足之情，你们还责怪他，是想赶我走吗！” 用石头砸向曾孝，曾孝被砸倒。曾仁、曾义各拿棍子出来，抓住曾忠、曾信，打了无数下。曾成于是告到官府，县官又让人去请教曾友于。曾友于去见县官，低着头不说话，只是流泪。县官问他，他说：“只求您公正判断。” 县官就判决曾孝等人各自拿出田产归给曾成，让七份家产大致相等。从此，曾仁、曾义与曾成更加友爱敬重，谈到安葬母亲的事，一起哭了起来。曾成愤恨地说：“如此不仁，真是禽兽！” 就想挖开坟墓，重新安葬。曾仁跑去告诉曾友于，曾友于急忙回来劝阻。曾成不听，定下日期挖墓，在坟地设了斋坛，用刀砍树，对弟弟们说：“不穿丧服跟从的，就像这树一样！” 众人连连答应。于是全家都去哭吊，按礼仪安葬了母亲。从此，兄弟们才相安无事。
可曾成性格刚烈，动不动就鞭打弟弟们，对曾孝尤其厉害。只敬重曾友于，即使大怒时，曾友于一到，一句话就能化解。曾孝做什么事，曾成都觉得不公平，所以曾孝没有一天不到曾友于那里，暗地里对他咒骂曾成。曾友于委婉劝说，他始终不听。曾友于受不了打扰，又迁居到三泊，离家更远，音信渐渐稀少。又过了两年，弟弟们都怕曾成，时间长了也习惯了。
曾孝四十六岁时，生了五个儿子：长子曾继业、三子曾继德，是正妻所生；次子曾继功、四子曾继绩，是妾所生；还有婢女所生的曾继祖。孩子们都长大了，效仿父亲过去的行为，各自结党，天天争斗，曾孝也不能呵斥制止。只有曾继祖没有兄弟，年纪又最小，哥哥们都能辱骂他。曾继祖的岳母家靠近三泊，他去岳母家时，绕道去拜访叔叔曾友于。进门后，见叔叔家两个哥哥一个弟弟，读书和睦，心里很高兴，住了很久不说回去。叔叔催促他，他哀求寄居在这里。叔叔说：“你的父母都不知道，我难道舍不得一碗饭一瓢水吗！” 曾继祖只好回去。过了几个月，他夫妻去给岳母祝寿，告诉父亲：“我这次去了就不回来了。” 父亲追问，他才说出隐情。父亲担心他和叔叔有旧怨，怕住不长。曾继祖说：“父亲多虑了，二叔是圣贤一样的人。” 于是离开，带着妻子去了三泊。曾友于收拾屋子让他们住下，把他当作儿子看待，让他拿着书卷跟长子曾继善学习。曾继祖很聪明，在三泊寄籍一年多，考进了云南郡的学堂。他和曾继善闭门研读，读书最刻苦，曾友于很喜欢他。
自从曾继祖住在三泊，家里的兄弟们更加不和。一天，稍一拌嘴，曾继业就辱骂庶母。曾继功发怒，杀死了曾继业。官府拘捕了曾继功，严刑拷打，几天后死在狱中。曾继业的妻子冯氏，还每天以骂代哭。曾继功的妻子刘氏听说后，生气地说：“你家男人死了，谁家男人活着呢！” 拿着刀冲进去，杀死了冯氏，自己跳井死了。冯氏的父亲冯大立，痛惜女儿死得凄惨，带领子弟们，把兵器藏在衣服里，去捉拿曾孝的妾，扒光她的衣服在道上鞭打羞辱。曾成发怒说：“我家死人如麻，冯家怎能再这样！” 大吼着冲出去，曾家子弟跟着他，冯家的人都被打垮了。曾成首先抓住冯大立，割掉他的两只耳朵。冯大立的儿子上前救护，曾继绩用铁棍横打，打断了他的双腿。冯家的人都受了伤，纷纷逃走。只有冯家儿子还躺在路边，曾成用胳膊夹着他，放到冯家村子才回来。接着叫曾继绩到官府自首。冯家的状纸也到了。于是曾家子弟都被拘捕。
只有曾忠逃走了，到了三泊，在门外徘徊。刚好曾友于带着一个儿子一个侄子考完乡试回来，见到曾忠，惊讶地问：“弟弟从哪里来？” 曾忠没说话先流泪，在路边长跪不起。曾友于拉着他的手拽进屋里，问清情况，大惊说：“这可怎么办！不过家里人一向不和，早就料到会有大祸；不然，我怎么会躲到这里。但我离家久了，和县官没什么交情，现在即使去求情，也只会自取其辱。只要冯氏父子伤重没死，我们三人中幸好有考中的，这灾祸或许能缓解。” 于是留下曾忠，白天一起吃饭，夜里一起睡觉。曾忠很感动惭愧。住了十多天，见曾友于叔侄像父子一样，兄弟像同胞一样，凄然落泪说：“现在才知道以前不是人啊。” 曾友于为他悔悟而高兴，两人相对感伤。不久传来消息，曾友于父子同榜中举，曾继祖也中了副榜，大家大喜。他们没去参加鹿鸣宴，先回家扫墓。明末科举最受重视，冯家的人都收敛了。曾友于托亲友送钱送粮，资助冯家治病，官司才平息。全家人都哭着感激曾友于，求他回家。曾友于于是和兄弟们焚香立誓，让大家各自改过自新，随后搬回家。
曾继祖跟着叔叔，不愿回自己家。曾孝就对曾友于说：“我没德行，不该有光宗耀祖的儿子；弟弟你善于教导，就让他暂且做你的儿子吧。等他有了一点成就，再还给我。” 曾友于答应了。又过了三年，曾继祖果然考中举人。让他搬家时，夫妻都痛哭着离开。没过几天，曾继祖三岁的儿子，跑到曾友于家，藏在堂兄曾继善屋里，不肯回去。抓回去就又逃出来。曾孝就让曾继祖分家居住，和曾友于相邻。曾继祖开门和叔叔家相通，早晚问候就像一家人。这时曾成年纪渐老，家事都由曾友于决定。从此，曾家门庭和睦，被称为孝友之家。
异史氏曰：“天下只有禽兽只知有母不知有父，没想到读书人家，常常会这样！家庭内部的行为，对子孙的影响，是深入骨髓的。古话说：‘父亲偷盗，儿子必定抢劫’，这是流弊造成的。曾孝虽然不仁，报应也很凄惨，但最终能自知缺德，把儿子托付给弟弟，难怪他有能操心忧虑的儿子。如果说这是因果报应，还太迂腐了。”