清代末年，作为长江水路码头的下关，到南京城里闹市区交通极不方便，恰逢清廷即将在南京举办大型博览会——南洋劝业会，为便利交通，光绪三十三年（1907）九月，两江总督端方，奏准朝廷，动用了藩库银四十万两，自下关江边筑一铁路入城，直抵中正街（今白下路），委江南商务局总办王燮任工程总办，聘英人格林森为总工程师，于当年10月20日动工，次年12月告成。宣统元年（1909）正月，正式通车营业，全长7．3公里，定名为“宁省铁路”，后又改称“江宁铁路”。国民党执政时期，易名为“京市铁路”。但南京人习惯称其为“小火车”。其实，这条铁路不论是钢轨、轨距，还是机车、车辆、都和沪宁铁路设备并无两样，只因仅限在市内行驶、线路短、站间距离短，所以才有“小火车”之称。市内走火车，在当时可以算是南京一奇。

　　当时小火车的走向为：起点于下关江边（今三号码头，有说中山码头），跨惠民河、经栅栏门，从金川门入城，然后驶向三牌楼、丁家桥、天量庵（今鼓楼），再东拐至北极阁南麓和两江师范学堂后墙，跨珍珠河，在今太平北路东侧折向南，走督署衙门（今“总统府”）东墙外到中正街（今白下路）为止。沿线设有江口、下关（今下关车站附近）、三牌楼、无量庵、督署及中正街六个站。其中督署站相继更名为总统府站、甾守府站、督军署站、上将军署站、国府站、维新站、新国民站，解放初改为长江路站。

　　有关小火车的站屋建筑，以江口与中正街两站为佳，尤其是江口站，双层洋楼，巍巍卓立于江岸，下层候车室以花磁砖铺地，这在当时已属相当高级罕见。附近还建有水塔、煤台、打水房、机车库等。至今下关仍有“龙头房”这一地名。宣统二年（1910），举世闻名的南洋劝业会在南京开幕，于是又在丁家桥（劝业会场址）加筑支线一条，专向会场运送物品，并在会场大门前增设一站（初名劝业会站，后改为小家桥站），当时小火车“每月载运旅客数十万人，实为该路创办以来空前之繁盛时代。”

　　那时小火车在市内运行。每日数趟，从根本上改变了城南城北交通不便的状况，给南京市民和往来客商带来了极大的便利，乘一站仅十文钱，还可带货。这与当时主要交通工具马车相比，既经济又迅速，营业状况较好。1912年1月1日，孙中山先生就任临时大总统时，即由上海乘专车来南京，随后乘小火车直抵长江路站下车，换乘马车进入临时大总统府的。

　　民国定都南京后，小火车线改称京市线，已运行近20年的小火车，此时线路、机车、车辆已很破旧，加上从民国12年（1923）起南京有了公共汽车，班次多，设站也多，比乘小火车方便，相比之下，京市线管理差、车速慢，车厢既脏且破旧，营业状况远远敌不过公共汽车，经常入不敷出。

　　1936年3月，南京市政府决定将京市铁路自中正街向南展筑，经八府塘、淮清桥，跨秦淮河，过白鹭洲和武定门内侧，到门东石观音庙而连城墙，更辟雨花门出城，至养虎巷口与江南铁路接轨，线路延长了3．8公里，全线长15．1公里，于当年7月竣工。9月8日试车，沿线增设武定门站（白鹭洲公园南大门外西侧）。由于接通了江南铁路，南京至芜湖的列车改由下关江口发车，客货运量增加，京市铁路始有转机，当时南京街头曾传唱一首金陵竹枝词：扬子江头看落霞，秦淮河上响鸣蛙。乘车直入华灯市，风鼓铁轮送到家。唱的就是当时沟通下关与中华门之间的市区小火车。然而，时隔不久，抗日战争爆发，继而南京沦陷，京市铁路由伪政权接管，受命于侵华日军之华中铁道株式会社。此时，江口站设施大多毁于战火，则以下关站为起点，并在下关、三牌楼间加筑一支线，为其军用仓库的专用线，增设成贤街乘降所，专为运送伤病员用，又设中山东路乘降所，专供明故宫机场装卸汽油、弹药用。客运则每天不定时的只往返三四次，仅是维持现状而已。且日军对路基、枕木等设施，只知占用，不谋修缮，“以致破坏残缺，几不成路。”

　　抗战胜利后，京市线已是满目疮胰，市府无力解决设备改进的经费，小火车票价从1946年1月至1948年8月调整了14次，仍是每况愈下，连年亏损，加上路基年久失修，枕木腐朽，车辆破烂不堪，以致事故迭起，1946年7月到次年10月，就发生重大事故16起，1948年9月和10月先后在北极阁山麓和雨花门外连续发生列车出轨颠覆事故。笔者就曾亲眼所见三牌楼站列车出轨砸死路人的惨状，造成多日堵塞，当时市政府对此深感头痛。

　　解放后，小火车也得到了新生，人民政府对铁路进行了道床整治，更换不合格钢轨，加固危险桥梁，定期保养，小火车又发挥了效用。后因宁芜线路复轨，并在城外绕道改线进入下关；1958年11月，铁道部复修成由尧化门到中华门的沪宁、宁芜联络线，小火车已无存在必要，乃同时将小火车线路轨拆除，至此，延续达50年之久的小火车遂正式结束。