随园在袁枚离世后，因为无人经营，逐渐衰败。根据文献记载，随园道光初年开始颓败，“楼阁倾颓，秋风落叶”（钱泳《履园葱话》卷二十“随园”条），这时距袁枚去世不到30年。我在《文人置业那些事》中推测大概是维护随园的费用太高，难以为继。袁枚子孙大多有功名，有家产，不愿意为维护随园的运转投入巨资，主要是投入与产出不成正比，亏空巨大。

到了太平天国进驻南京时，随园遭到较大破坏，园林景观被开垦成粮田。陈作霖《炳烛里谈》记述：

自经粤乱，复寻旧迹，则平原一片，双湖水仅一泓可辨。向西小仓山尚存以外，绝无坡陀处。乃寻野老，详询其故。则洪寇因粮饷告乏，填平洞壑，资田以供给伪王府之食米，故陵谷一变。及江南克复后，复有棚民垦种山谷，其土日壅日高，遂不能按图而考其迹矣。

咸丰三年（1853），随园毁于太平军战火。太平军之所以要毁掉随园，据说是因为袁枚的一个孙子曾在苏州做过县太爷，与太平军交过手，让太平军损兵折将锐气大伤，太平军嫉恨袁枚这个孙子，就毁掉袁枚随园，颇有点掘坟戮尸意味。

几十年前，因为政治的需要，对太平天国讴歌，极尽赞美。且不说洪秀全定都南京，生活奢侈，极尽腐败；凡太平军所到之处，对文物、文化的破坏极为惊人，南京中华门外的大报恩寺塔就毁于太平军的战火。