1949年小铁路改称宁市线，由上海铁路局接管。由于小铁路运行了40多年，铁轨等设施已经陈旧，出于安全的考虑，铁道部门对小铁路沿线铁轨进行了更换，桥梁加固。重获新生的小铁路就这样又继续运行了10年。到了1958年，由于南京外围铁道改线，修筑了由尧化门至中华门的宁芜联络线，小铁路的作用已经完结，铁道部门随之拆除了这条南京历史修建最早、横贯南京城的小铁路，小铁路终于寿终正寝。

小铁路的开通，给当时的南京人带来便利，方便了南京人的出行，也是南京交通史上一件载入史册的大事。但是小铁路的最终结局却远没有五十多年后南京西站落幕时的待遇。拆除后的小铁路，沿线都进行了改造，其站点所在的地方早已改天换地，一点小铁路的痕迹都没留下，这不能不说是遗憾。