Началом создания пограничных войск является декрет Совнаркома от 28 мая 1918 года об учреждении пограничной охраны РСФСР. В начале 1921 года создаются войска ВЧК, на которые возлагалась охрана Государственной границы совместно с войсковыми частями Красной Армии, а через полтора года был сформирован отдельный пограничный корпус войск ГПУ, в ведение которого передавалась охрана границ Российской Федерации.
Войска оперативного назначения были созданы в 1939 году в связи с резким обострением обстановки в западных приграничных районах. Первоначально они входили в состав пограничных войск. Их основной задачей являлась борьба с бандформированиями, диверсионными группами.
Войска по охране железнодорожных сооружений и особо важных предприятий промышленности свою историю непосредственно связывают с Октябрьской революцией 1917 года в России. В обстановке возникшего тогда на территории страны хаоса и неразберихи, грабежей большевики вынуждены были принимать меры для спасения еще не разворованных ценностей. Новое правительство России уже к концу ноября 1917 года стало налаживать охрану фабрик, заводов, предприятий транспорта и связи, складов, ставших государственным достоянием. В этой связи такие ведомства, как Наркомпрод, Г лавсаха, Г лавнефть, Центртекстиль, создавали вооруженные отряды для охраны своих объектов.
В последующие годы охрана важных народнохозяйственных производств, коммуникаций, сооружений непрерывно совершенствовалась, менялась ее организация. Постановлением СНК СССР от 4 декабря 1931 года стрелковая охрана НКПС и военизированная охрана промышленных объектов ВСНХ были переданы в ведение ОГПУ и переформированы в воинские части внутренней охраны. С февраля 1939 года Главное управление внутренней и пограничной охраны было разделено на четыре самостоятельных управления войск НКВД: пограничных, по охране особо важных предприятий промышленности, охране железнодорожных сооружений и конвойных с непосредственным подчинением заместителю наркома внутренних дел по войскам.
Войска по охране железнодорожных сооружений в составе семи дивизий и пяти бригад к концу 1940 года под своей опекой имели более полутора тысяч различных объектов: железнодорожных мостов, тоннелей, эстакад, водокачек, электростанций.
Войска НКВД по охране особо важных предприятий промышленности несли службу на объектах, принадлежащих различным наркоматам и ведомствам по номенклатуре, утвержденной СНК СССР.
Особое место в системе охраны важных объектов на железных дорогах и в промышленности отводилось бригадам содействия. Они создавались из рабочих и служащих, занятых на данном производстве или проживающих вблизи объекта. Для работы с бригадами от штабов частей и подразделений выделялись командиры, ответственные за результаты службы по охране объекта. Добровольные помощники вели наблюдение за порядком на производственных участках, соблюдением правил пропускного и внутриобъектового режимов.
Первые конвойные команды в Советской России стали создаваться сразу же после Октябрьской революции 1917 года из групп и отрядов охранников, набранных еще по распоряжению органов Временного правительства. Обновленные в значительной мере рабочими и революционно настроенными солдатами, эти малочисленные команды выполняли задачи по конвоированию контрреволюционеров и саботажников.
Приказом Наркомата по военным делам от 20 апреля 1918 года было объявлено «Положение о конвойных командах», которое положило начало созданию по всей стране конвойной стражи на добровольных началах.
Конвойная стража подразделялась на губернские и уездные конвойные команды, которые подчинялись военным отделам местных органов власти. Общее руководство конвойной стражей осуществлялось управлением комиссара Главного управления мест заключения и Главной инспекцией конвойной стражи. Команды конвоировали граждан в народные суды и трибуналы.
Решением Реввоенсовета Республики от 4 октября 1922 года конвойная стража в количестве около семнадцати тысяч человек была передана в ведение ГПУ с задачей, кроме конвоирования, охранять места заключения и оказывать необходимую помощь администрации колоний в обеспечении должного порядка среди осужденных. Все разрозненные команды и части были сведены в корпус конвойной стражи.
После ряда преобразований в последующие годы приказом НКВД СССР от 8 марта 1939 года конвойная стража получила наименование «конвойные войска» с установленной численностью около двадцати девяти тысяч человек.