Такую повестку поэт получил и 20 ноября отправился в Санкт-Петербург на Торговую, 18, где на квартире В. П. Авенариуса проходил очередной вечер кружка.
Но «Вечера Случевского» с их узко-замкнутым кругом интересов и участников не удовлетворяли запросов молодого поэта. Он жаждал более широкого общения с поэтами-модернистами, ему хотелось познакомиться с известным символистом Александром Блоком. Гумилёв был наслышан о литературных «средах», которые проводил у себя дома Вячеслав Иванов, но просто так, с улицы, попасть на них было невозможно. Новичков представляли только с согласия самого хозяина. Такой порядок он установил после смерти жены. Вечера-журфиксы по средам Ивановы — Лидия Дмитриевна Зиновьева-Аннибал и Вячеслав Иванович — проводили с 1905 года.
Уже 31 июля 1905 года Иванов сообщает Брюсову свой адрес в Санкт-Петербурге: Таврическая, 25, так называемая круглая башня над Таврическим парком. Поселились Ивановы под самой крышей на шестом этаже. Окна «башни» выходили одной стороной на Тверскую, а другой — на Таврическую улицы. Знаменитые дворец и парк как бы оказались под ногами писателей, было романтично работать над Таврическим парком. Вячеслав Иванов жаждал общения, хотел быть в центре внимания, и уже в августе-сентябре он сообщает многим своим знакомым — «среда — день наших приятелей». Первая «среда» была организована 2 или 3 сентября. На ней присутствовали поэт В. Пястовский (известный в литературе как Пяст) и философ В. Эрн.
Собственно «башня» представляла собой большую круглую комнату оранжевого цвета. Чтобы при сдаче внаем получить больше денег, владелец перегородил ее с двух сторон стенками. В центральной части «башни» и проводил Вячеслав Иванович свои журфиксы по средам. На Тверскую улицу выходила двухоконная комната Лидии Дмитриевны. Тут, возле тахты, заваленной мягкими подушками, стояла известная урна, куда супруги складывали свои рукописи. Рядом со спальней располагалась гостиная для приезжих. На знаменитый Таврический сад выходили окна столовой, окрашенной в темно-зеленые тона.
Среды проходили осенью, зимой и весной, а летом, в период дачный, встречи, как правило, не проводились. Кто только не бывал на этих знаменитых средах: писатели, поэты, философы и просто известные личности. В 1907 году Ивановы уехали летом в Загорье, в имение своих друзей, 17 октября Лидия Дмитриевна неожиданно умерла, заразившись скарлатиной во время эпидемии, когда помогала выхаживать больных крестьянских детей. Опечаленный Вячеслав Иванович привез тело жены хоронить в Санкт-Петербург. Именно с этих пор начал меняться характер быта и литературных сред на «башне», как говорил философ Николай Бердяев, с Лидией Дмитриевной из них ушел «дионисийский трепет» и «умерла их душа». Теперь собирались по средам только по личному приглашению Вячеслава Иванова и в большой столовой. Башенную комнату стали сдавать иностранным корреспондентам, аккредитованным при Государственной думе. Так, весной 1908 года здесь жил немецкий писатель и журналист Иоганес фон Гюнтер по приглашению Вячеслава Иванова. Обитали здесь поэт Юрий Верховский, философ Владимир Эрн, редактор издательства «Логос» Федор Степун. Андрей Белый, друживший с Вячеславом Ивановым и подолгу живший у него, писал в «башне» знаменитый роман «Петербург».
О вечерах Иванова ходили по городу легенды, и завсегдатаи поэта считались в литературном мире посвященными. Встречались и те, кто приходил к Вячеславу Ивановичу, чтобы попросить совета, аудиенции. За это Иванов получил прозвище Вячеслав Мудрый.
Гумилёв не был в числе посвященных, но ему этого очень хотелось. И тут в его судьбу вмешался господин случай. В конце июля молодой прозаик Сергей Ауслендер со своим дядей Михаилом Кузминым отдыхали в Новгородской губернии у родственников. Однажды им на глаза попалась газета «Речь» за 26 июля 1908 года с рассказом Николая Гумилёва «Последний придворный поэт». Случайно в доме оказался и старый номер «Речи» от 15 июня, где был еще один рассказ того же Гумилёва «Черный Дик». Его отложил сам Сергей. Так как оба не знали, кто же этот Гумилёв, решили после возвращения поинтересоваться в Санкт-Петербурге о неизвестном им авторе. И вот осенью, вернувшись в Северную столицу, Ауслендер как-то зашел в редакцию журнала «Весна» и совершенно случайно узнал, что в одиннадцатом номере журнала выходит рассказ Гумилёва — «Лесной дьявол» и готовятся к печати его же стихи. Сергей слышал, что этот молодой человек вроде бы находится в Париже и близок к кружку Мережковских. Ауслендер, оказалось, не любил Мережковских, и это чуть было не остановило его, но он пересилил предубеждение и спросил о поэте. Неожиданно он узнал, что Гумилёв живет уже в Петербурге. Ауслендер попросил передать ему свой домашний адрес и приглашение.