我在家里虽然是老大，但在同族排行中却是老三，因此家里面的人开始都叫陈芸“三娘”。后来，有人开玩笑地称她“三太太”，慢慢地也就变成了习惯称谓，以至于后来不论辈分高低、年龄大小都称她“三太太”。这大概就是家庭发生变故的先兆吧！

乾隆乙巳年（1785年），我跟着父亲供职于海宁（浙江海宁市）衙门。陈芸经常在家信中附带她寄给我的私人信件。父亲知道后，就说：“儿媳既然会写信，以后你母亲的家信就让陈芸来代笔吧。”后来家里面偶尔有人说起闲话，母亲就认为是陈芸在写信的时候做事不周所致，就不让她代笔了。父亲看到后面的来信不是陈芸的笔迹，就问我：“你媳妇病了吗？”我立即写信询问，陈芸很长时间都没有回音。父亲很生气，对我说：“你媳妇好像不屑于为你母亲代写家信吧！”陈芸对此一直不做解释，直到我回家后问她，才明白事情的原委。我想找个机会向父亲解释一下，陈芸赶忙制止我说：“我宁可被公公责骂，也不能让婆婆不高兴。”直到最后，这件事也没说清楚。

乾隆庚戌年（1790年）春天，我父亲在邗江（今江苏扬州市邗江区）作幕僚，我也跟在身边侍候。有一个叫着俞孚亭的人是我父亲的同僚，他把家属带在身边，因此一家人住在一起，尽享天伦之乐。我父亲曾对俞孚亭说：“我在外面奔波忙碌一辈子，连一个照顾生活起居的人都找不到。做儿女的要是真能体谅老人家的难处，就应该在家乡为我物色一个小妾，彼此语言相通，还能说说知心话啊。”

孚亭向我转达了父亲的意思，我就悄悄地写信给陈芸，让她请媒婆帮助物色。最后找到一个姓姚的女孩。陈芸不知道父亲对这个女孩是否满意，就先没告诉母亲，直接送这个女孩过来。在送的时候，陈芸对母亲说这是邻居家的女孩，去扬州玩的。等到父亲让我把这个女孩接到他办公衙署的时候，陈芸又听从其别人的建议，对母亲说父亲娶他所钟爱的女孩为妾。母亲见到这个女孩后，就对陈芸说：“这就是去扬州游玩的邻家姑娘啊，怎么被你爹娶来当小妾了？”母亲就认为这是陈芸与父亲合起伙来欺骗她，从此以后，陈芸就不被母亲所喜欢了。

壬子年（1792年）春天，我在真州（今江苏仪征真州）衙门谋得一份差事。不料父亲却在邗江病倒了。我赶紧前往邗江探病，没想到自己也病倒了。当时我弟弟启堂正在父亲身边伺候。陈芸给我写信说：“启堂在家的时候，曾向邻家的女人借过钱，让我为他担保。现在债主正向我逼债啊。”我问启堂有没有这回事，启堂却说这是嫂子多管闲事。我很生气，就在回信的末尾附带写上：“父亲和我都病倒了，现在拿不出钱来还债。等启堂回家后自己处理，这件事了你就不要管了。”

没过多久，父亲和我的病都痊愈了，我便启程回了真州。陈芸给我的回信恰恰被父亲收到，父亲就把信拆开来看，信中提到启堂向邻家妇女借钱的事情。陈芸还在信中说：“令堂以为老人的病都是姓姚的女孩引起的。等你爸的病情稍微好转的时候，你最好悄悄地对姓姚的女孩说明这件事，然后让她说自己想家了，要回苏州。我在这边就让她的爹娘去扬州把她接回来。这样的话，我们可以摆脱许多不必要的麻烦。”父亲看到这封信后非常生气，就问启堂有没有向邻居家女人借过钱，启堂说不知道有这件事。父亲更是怒火中烧，立即给我写来一封信，严厉地告诫我：“你媳妇背着丈夫向外人借债，还中伤诋毁小叔子，称婆婆为‘令堂’，称公公为‘老人’。这简直荒唐到了极点！我已经派人送信回家，将她扫地出门。你要是还有一点人性的话，就应该好好反省自己的过错！”我收到这封信后，如闻青天霹雳，赶紧写信认错，然后找来一匹快马立即赶回家去，非常担心陈芸想不开而寻短见。回家之后，我向母亲解释了整件事情的经过，但是家人已经拿着父亲的信到家了。父亲在信中把陈芸批得一无是处，语气非常严厉决绝。陈芸哭着恳求：“我信口胡说是不对，但请公公原谅妇道人家浅陋无知！”过了几天，父亲又写了一封信回来：“我也不想做得太过分了！你就带着你媳妇分出去住吧，不要让我再见到你们，免得惹我生气。”

我本来想把陈芸送回娘家，但她认为自己母亲早已过世，弟弟又离家出走，杳无音讯，她不愿意依靠族人接济过活。幸好我有一位名叫鲁半舫的朋友，知道我们的遭遇后非常同情，让我和陈芸寄居在他家的萧爽楼上。

过了两年，父亲也慢慢知道事情的原委经过。当我从广东东部赶回家的时候，父亲也正好到了萧爽楼，他对陈芸说：“过去的事情，我都知道了，你们受委屈了。一直打扰朋友不是太好，不如回家吧！”我和陈芸就高高兴兴回家了，仍住在仓米巷，一家人也得以团聚。然而，一波甫平，一波又起，谁曾想到憨园的事情又给我们造成大不幸呢？