老九于同治三年十月初一日离开南京，直到十一月十六日才回到老家，沿途足足消磨了一个半月。同治四年三月，老九接到朝廷要他进京陛见的诏令，他以患病为由拒绝北上。五月份再奉陛见之命，他再次置之不理。从这篇日记来看，老九的确也有病，但可知其身病不是主要的，关键在于心病，心病出于“疑谤交集”。

自古以来，带兵在外打仗立功的将帅，少有不受疑谤的。老九处事任性又不拘小节，他和他的吉字营可疑可谤处甚多，除开前面评点中讲到南京合围不严、城破后打劫财物这两点受到朝廷严责外，老九的军营中袍哥势力泛滥，也备遭诟病，有的人甚至怀疑刚受封一等男爵的吉字营大将萧孚泗便是袍哥的头目。这些议论也让老九心情烦闷。离开南京回家前夕，曾氏借祝贺生日之由为老九写了十三首诗，其中有三首都是在为老九解开这个心结的：

左列钟铭右谤书，人间随处有乘除。

低头一拜屠羊说，万事浮云过太虚。

已寿斯民复寿身，拂衣归钓五湖春。

丹诚磨炼堪千劫，不借良金更铸人。

童稚温温无险巇，酒人浩浩少猜疑。

与君同讲长生诀，且学婴儿中酒时。