После постройки здания Купеческого клуба в Москве пути Олтаржевского и его учителя разошлись. Иванов-Шиц продолжал строить доходные дома, здания банков и больниц. В конце 1920-х годов он проектировал и строил здания правительственного санатория в Барвихе. Им был также выполнен проект оформления площадки у памятника А.С. Пушкину к столетию со дня рождения поэта. В начале 1930-х годов Иванову-Шицу была доверена большая ответственная работа по перестройке старых залов Большого Кремлевского дворца под зал заседаний Верховного Совета СССР. Судя по всему, сделанная им перестройка не полностью отвечала поставленной перед ним задаче, ибо начались мелкие и крупные доделки и переделки. В конце концов работу по перестройке зала завершил уже в конце десятилетия архитектор М.И. Мержанов. А первоначальный исторический облик залам был возвращен только в 1990-е годы. Теперь эти залы имеют тот вид, который они имели в соответствии с первоначальным проектом К.А. Тона и Н.И. Чичагова.
Всего Олтаржевский проработал в содружестве с Ивановым-Шицем без малого четыре года. Эти годы стали чрезвычайно важными для его становления как архитектора, но до первых его самостоятельных работ оставалось еще немало лет.
Квартал Северного страхового общества
В 1908 году Олтаржевский получил приглашение о сотрудничестве уже от другого своего бывшего учителя — Ивана Ивановича Рерберга. Тот пригласил уже набравшегося определенного опыта молодого архитектора участвовать в реализации крупных и интересных проектов. В сотрудничестве с ним Олтаржевский проектировал квартал зданий для Северного страхового общества на Ильинке, здание Голофтеевского пассажа и здание Киевского вокзала.
Скорее всего, Рербергу, инженеру по складу ума и образованию, нужен был способный специалист для архитектурного «обустройства» возводимых им сооружений. Сам Иван Иванович, мастерски применяя новейшие строительные технологии в своих проектах, тем не менее подписывал работы только как «инженер Рерберг». Может быть, потому что в свое время получил чисто инженерное образование (окончил Военно-инженерную академию) и в среде строителей славился именно своим умением создать изящную, точно рассчитанную конструкцию здания. Все крупные работы Рерберга опирались (в том числе в буквальном смысле) на новаторские по тем временам решения силового каркаса с использованием железобетонных и клепаных стальных конструкций.
В свое время Рерберг участвовал в строительстве здания Музея изящных искусств им. Пушкина в Москве. Впоследствии он неоднократно работал главным инженером и управляющим работами на ряде крупных проектах, к примеру, таких, как здание магазина «Мюр и Мерилиз» (ныне ЦУМ). В 1908—1918 годах Рерберг преподавал архитектуру в Московском училище живописи, ваяния и зодчества, где его учеником был, среди многих других, и Олтаржевский. Зная Вячеслава Константиновича как работящего и весьма способного студента, в 1909 году Рерберг пригласил его принять участие в проектировании квартала зданий на Ильинке. Ему потребовался специалист в области архитектурного проектирования.
Сооружение комплекса административных зданий Северного страхового общества на Ильинке было завершено уже в 1911 году. Здания хорошо сохранились до сих пор (№ 21—25 по улице Ильинка). Венчающая угловое здание башенка с часами четко выделяется в конце улицы. Одно из этих зданий фасадом выходит на Новую площадь, второе — на Ильинку. Сейчас здесь размещены рабочие кабинеты сотрудников Администрации Президента Российской Федерации и представительство Конституционного суда Российской Федерации. На зданиях укреплены мемориальные доски с обозначением времени постройки и авторов проекта.
Интересно, что для Рерберга это был первый действительно крупный самостоятельный проект, а для Олтаржевского — первый проект, где он самостоятельно делал архитектурную часть. Строить на Ильинке в те времена, как и сегодня, было почетно и значимо. Этот район вблизи Кремля исторически был занят административными зданиями наиболее известных и процветающих компаний. А вообще этот район вошел в историю еще со времен Бориса Годунова. Само название «Ильинка» дано улице еще в XVI веке по названию построенной в 1518 году каменной церкви Ильи Пророка (здание сохранилось и поныне — дом 3). Эта улица благодаря своему расположению постоянно оказывалась в центре наиболее значимых исторических событий. Достаточно вспомнить хотя бы о том, что в 1606 году набатом Ильинской церкви был дан сигнал к восстанию, в результате которого был свергнут и убит самозванец Лжедмитрий I.