На втором этапе (2003–2005 гг.) с целью создания реальной конкурентной среды планировалось выделение из ОАО РЖД его дочерних структур – акционерных государственных компаний, занимающихся оказанием транспортных услуг. При этом предполагался переход к свободному ценообразованию в конкурентных секторах. Фактически второй этап реформирования российского железнодорожного транспорта начинается с момента создания ОАО «РЖД». Кроме того планировалось: обеспечить рост конкуренции в грузовых перевозках; завершить оптимизацию структуры управления ОАО «РЖД» (в том числе усилить роль организации управления по видам деятельности); организовать эффективное функционирование систем учета, сформированных на первом этапе реформирования; сократить перекрестное субсидирования пассажирских перевозок с помощью созданного на первом этапе механизма поддержки пассажирских перевозок; упорядочить функции федеральных органов исполнительной власти, осуществляющих государственное регулирование в области транспорта.
В настоящее время полная реализация задач второго этапа реформы существенно отстала от плана в связи с отсутствием необходимой правовой базы, в частности задерживается принятие Федерального закона о реорганизации ОАО «РЖД» с выделением Федеральной пассажирской компании (ФПК), а также остаются неурегулированными вопросы ценообразования по перевозкам и возмещения из федерального бюджета расходов на пассажирские перевозки.
В связи с невозможностью выделения из федерального бюджета средств на компенсацию убытков от пассажирских перевозок изменена концепция создания ФПК. Срок ее появления как самостоятельной компании перенесен на несколько лет. Вместо этого создается дирекция пассажирских перевозок ОАО «РЖД», т. е. один из филиалов ОАО, куда должно перейти имущество, необходимое для обеспечения дальних пассажирских перевозок. Тем самым пока сохраняется перекрестное субсидирование пассажирских перевозок за счет грузовых внутри ОАО РЖД. Федеральная пассажирская дирекция начала хозяйственную деятельность 1 июля 2006 г. В ее состав вошли 46 пассажирских вагонных депо, 24 000 пассажирских вагонов. После принятия решения о государственной поддержке пассажирских перевозок дальнего следования, Дирекция будет готова трансформироваться в Федеральную пассажирскую компанию.
В то же время в течение 2004–2005 года советом директоров ОАО «РЖД» приняты решения о создании 27 дочерних обществ ОАО «РЖД», в том числе по сферам деятельности: производства и капитального ремонта путевой техники; производства средств железнодорожной автоматики и телемеханики; капитального строительства и проектно-изыскательских работ; ремонта грузовых вагонов; научно-исследовательских и проектно-изыскательских работ; контейнерных грузовых перевозок; перевозок грузов изотермическим подвижным составом; пригородных пассажирских перевозок.
Постановления Правительства Российской Федерации, обеспечивающие недискриминационный доступ к инфраструктуре железнодорожного транспорта и введенный в действие универсальный Прейскурант 10–01 способствовали развитию конкуренции на рынке грузовых перевозок. Наиболее привлекательные с точки зрения тарифов грузы переходят в конкурентный сектор, и их доставка осуществляется независимыми от ОАО «РЖД» компаниями-операторами подвижного состава. Из года в год число таких компаний, равно как и количество вагонов и локомотивов, которые находятся в собственности операторов-частников, увеличивается. К концу второго этапа эти компании уже владели примерно 1/3 всего вагонного парка страны, ими уже перевозится порядка 1/4 всех грузов.