两次工业革命所带来的，不仅仅是对人类文明进步的影响，也深刻地影响了战争事态的演变，大量新鲜事物在诞生后被迅速应用于战争，出现于第一次工业革命的火车和轮船，就很快加入了人类用于互相屠杀的手段中。
在火车出现前的数千年里，除了船只，军队快速机动的唯一办法只有战马，火车出现后，军队机动方式才有了新的选择。火车最早应用于战争是美国南北战争，开始只是用于运输军队，不过双方很快就发现除了运输，还有更重要的地方用得上火车。南军在轨道上筑起木质车体， 架上机枪和加农炮对付北军的骑兵，这也算是装甲列车的雏形，只不过只是车体，没有火车头自然没有没有机动能力。
美国南北战争事实上开创了战争的新形态，等到结束时，装甲列车已经大量出现在欧洲战场，并且加装钢甲板，牵引车也被放在整列车的中间，车头由两组以上的装甲车厢组成，装载机枪或轻型火炮，以应对来自前方的威胁。
第一次世界大战爆发时还没有坦克，堑壕战的时代，装甲列车就是就是最强最快最便捷的火力输出，真正成为铁轨上的炮舰，而将这种武器玩得出神入化的，还是沙皇俄国和之后的苏联。
俄罗斯地广人稀，文明形态一直与欧洲有不小的区别，在工业革命前其实一直处于半游牧状态，进入工业时代后才开始算是迈入近代化，所以装甲列车在俄罗斯非常实用，比如十月革命后，西方国家联合干涉苏联内政，白军中的捷克军团转战数千公里，靠着装甲列车从察里津（斯大林格勒）一直打到最东方的海参崴。
二战时期虽然空中优势削弱了装甲列车的威力，不过装甲列车还是有很多用武之地的，如清剿游击队之类的任务，德军和日军都曾用装甲列车打反游击战，特别是侵华日军，利用华北的铁路网，将装甲列车、炮楼和皇协军结合起来，清剿中国的敌后武装。
其实不只是这些国家，解放军也有过装甲列车。1949年渡江战役前，四野抽调500名懂铁路业务的骨干，与华东警备一团合编成为“中国人民解放军第三野战军铁道工程团”，也是解放军铁道兵的雏形。解放上海时，铁道兵驾驶装甲列车也曾参战。
二战结束后，随着制导武器的发展，装甲列车已经不再适应战争环境，越野能力更强的坦克、装甲车很快就取代了装甲列车。2015年，连最钟爱装甲列车的俄罗斯也将其退役，从此只有在博物馆和电影、游戏里能见到装甲列车了。