再问详情时，李徽才知道母亲和丑姑她们离开的过程并不简单。
九月底，阿珠一行回到了吴郡。阿珠拜见了顾兰芝和丑姑，说明了身份。顾兰芝和丑姑甚为欢喜，儿子身边已经有了这么个聪明伶俐的小姑娘侍奉，那自然是好事。
顾兰芝本以为阿珠是来接她和丑姑去居巢县的，结果，当阿珠告诉她们，李徽要她们离开吴郡前往丹阳郡居住的时候，顾兰芝很是犹豫。
顾兰芝说，既然居巢县去不成，便在吴郡呆着便是。这里住的习惯了，哪里也不想去。其实除了这个原因之外，顾兰芝更担心的是丹阳郡没有她的存身之所。
当初丈夫李智去世之后，顾兰芝之所以选择带着年幼的李徽回到吴郡，便是因为丈夫那边的族人欺负他们母子，意图侵占他们的田产宅邸，几乎是被赶出丹阳郡的。现在要回丹阳郡，根本无存身之处。
阿珠见顾兰芝不肯离开，也只得遵从她的意愿。毕竟李徽交代了，如果顾家不驱赶母亲她们的话，那倒也不必离开。
阿珠在顾家住了七八天，和顾兰芝丑姑她们相处的甚为融洽。蒋胜等人也准备返回居巢县的时候，结果却出了麻烦了。顾家主家突然对顾兰芝下了最后通牒，要顾兰芝和丑姑搬出吴郡。说她们居住的房舍是顾家产业，顾兰芝的父亲当初便已经典当给了主家。只是见顾兰芝母子可怜，南宅顾谦又出言收留，这才允许她们居住。
顾家主家还拿出了证据，一份顾兰芝已故父亲的典当地契，表明这宅子已经是主家的产业。
顾兰芝惊的目瞪口呆，她从未听说过此事，觉得事有蹊跷。于是去和主家理论。家主顾淳连见都没见她。主家的管事训斥顾兰芝，说她儿子李徽忘恩负义，家主没派人将她撵走便已经开恩了。收回房舍，给她们搬走的时间已经很好了。按理说应该早就将她们的东西丢到大街上去。
顾兰芝如坠云里雾里，又去南宅向顾谦询问，顾谦倒是见了她。但是顾谦说，这是家主的决定，他也劝说过家主，但是家主不允。关于李徽忘恩负义的事情，顾谦倒也没有否认，但也没有细说，只让顾兰芝自己询问李徽便知。
顾谦的言语倒也并不凶蛮，只是不住的叹息，还建议顾兰芝她们暂时离开吴郡找个住处，或者他给顾兰芝找个另外的住处安顿。待他好好劝说家主云云。
顾兰芝满是疑惑的回到家中，阿珠此刻才不得不将居巢县发生的事情，李徽不愿听从顾家安排，和顾家闹翻了事情说了一遍。顾兰芝和丑姑这才明白李徽为何要让阿珠回吴郡，请她们离开吴郡回丹阳郡去。
顾家是因为自己儿子不听他们的吩咐，从而恼羞成怒，要逼她们走罢了。至于什么房舍是他们的，典当契约什么的，都是借口，都是捏造。
顾兰芝是个坚强的人，得知其中原委之后，便毅然决定离开吴郡。她不明白儿子为何要违背顾家的意志，但她觉得，儿子既然这么做了，必有他的道理。既然顾家容不得自己，那么离开便是了。
顾兰芝当然也不肯接受顾谦的好意。虽然顾谦的态度还算谦和，但既然已经到了这一步了，何必要接受他们的施舍。
其后数日，顾兰芝和丑姑等人便开始收拾东西准备离开。结果，在任上回来的顾昌带着人跑来索要之前顾家赏赐和赠送的礼物。顾昌说，走是可以的，但需要将顾家给的东西全部还回来。李徽既然忘恩负义，便休怪他们顾家薄情寡义。如果不归还回来，便要告到衙门，拿了她们下狱。
之前顾家赏赐的东西确实不少，吃的用的都有，那是李徽当上县令之后，家主和南宅赠送的。当时顾兰芝不肯收，他们硬要给，现在拿着礼单来索要，却如何能还的出？吃用之物自然是吃了用了，只能还回去一小部分了。顾昌将空缺的部分作价，足有百万钱之多，顾兰芝哪里拿得出来这么多钱赔偿。
于是顾昌便命人围堵吵闹，散布李徽忘恩负义，顾兰芝欠了主家财物不还的谣言。闹腾的不得安宁。一家人走也走不掉，被顾昌等人逼迫的无可奈何，气的顾兰芝心口疼的病都犯了。丑姑也气的卧床不起。
阿珠一边侍奉二老，照顾她们起居，一边奋起保护她们。顾昌的人来闹事的时候，阿珠大声呵斥他们，挺身而出，毫不畏惧。
不仅如此，她还跑去顾家南宅求见顾谦，质问顾谦为何允许这样的事情发生，有损他顾家吴郡大族的声誉。
一个十五岁的小姑娘，表现出了极大的勇气，问的顾谦哑口无言。
其实顾谦当然不赞成顾昌他们这么做。但是在李徽这件事上，现在顾谦备受指责。顾淳都毫不客气的指责顾谦培养出了个白眼狼。李徽正是顾谦举荐中正评议，才有了后来的事情。某种程度上来说，确实是顾谦的责任。顾谦在这件事上已经没有了发言权。李徽的背叛，已经对顾家整体利益产生了损害。在桓氏那里，顾家大跌颜面。即便顾谦有心制止这些无理的举动，却也不能了。。