Дорога строилась акционерным обществом, устав которого был утверждён 2 мая 1863 года. Открытие линии состоялось в 1868 году. Протяжённость её — 487,8 вёрст. Дорога пролегла от Орла через Хотынец — Карачев — Брянск — Рославль — Смоленск — Витебск, по Орловской, Смоленской, Могилёвской и Витебской губерниям. Показан наградной знак по окончании строительства "Земская Орловско-Витебская железная дорога" 1868г. Сзади "21 марта 1867 - 8 октяб. 1868"
ОВЖД стала казённой из-за изменения государственной политики по отношению к железным дорогам и собственной убыточности. В 1895 году происходит слияние Риго-Двинской, Двинско-Витебской, Орловско-Витебской железных дорог, находящихся в собственности государства. Таким образом появляется Риго-Орловская железная дорога (РОЖД), главное управление которой располагается в Риге.
РОЖД стала проходить по территории Лифляндской, Витебской, Курляндской, Ковенской, Могилёвской, Смоленской, Орловской губерний России. Дорога связывала центральные районы России с портами на Балтийском море — Ригой и Либавой. Управление дороги находилось в Риге. Протяжённость дороги на 1913 год составляла 1546,7 км, в том числе 783,3 км двухколейный путь. Дорога имела общую станцию в Смоленске с Рязано-Уральской дорогой
Первой дорогой, впоследствии вошедшей в единую Риго-Орловскую, была линия Рига — Динабург (с 1893 года Двинск) построенная в 1858—1861 гг.
Затем построены дороги:
Динабург — Витебск (1866 г.),
Витебск — Орёл (1868 г.),
Рижско-Митавская ж. д. Торенсберг — Митава — Муравьёво (1868—1873 гг.),
Риго-Больдерааская ж. д. Рига — Больдераа (1872 г.)
Риго-Туккумская ж. д. Зассенгоф — Туккум (1877 г.),
Витебско-Жлобинская ж. д.: Витебск — Орша — Могилев — Жлобин (1902).
В мае 1918 года часть линий Риго-Орловская железной дороги была передана в НКПС, а часть линий отошли к прибалтийским государствам. После 1945 года все линии вошли в общегосударственную сеть железных дорог СССР. По состоянию на 2006 год основные линии дороги входят в Белорусскую железную дорогу, Московскую железную дорогу, железные дороги Латвии.