Но главным делом жизни оставалась книга о русском быте и живом слове. В 1932 г. Иванов с полным правом мог написать известному библиографу И. Ф. Масанову: «Главная работа — собирание бытового острословия и древнего скоморошьего эпоса. Собирание материалов производится более 28 лет. Труд закончен для издания» (ЦГАЛИ).
Значительная часть этого обширного труда лежит сейчас перед читателем.
Во всей своей долголетней и многообразной историко-этнографической деятельности Е. Иванов никогда не был научным работником обычного типа.
Возникшая в юности страсть коллекционерства шла рядом с научными занятиями и насквозь пронизывала их. Начав изучать старинные ткани, он создаст коллекцию русской парчи, заинтересовавшись русским пряником — за многие оды соберет огромное количество вяземских, тульских, московских, медовых, «одномедных», сахарных, сусляных, заварных, сырцовых, клюквенных, мятных, ржаных, печатных, вырубных, лепных, расписных пряников (коллекция была съедена в годы войны); исследуя лубок — образует одно из лучших в стране собраний русских лубочных листов. О его находках писали газеты (например, о том, что в лавке старьевщика он обнаружил восемь эскизов М. Врубеля), о его коллекциях знали специалисты. В его собрании, например, был старинный «гудок», одно описание которого, сделанное собирателем, чрезвычайно ценно для историков русской народной музыкальной культуры: «Кузов и гриф его, с мало выделяющейся, отклоненной взад головкой, сделаны на одного куска дерева, без склейки, причем первый выполнен по системе долбления. Форма инструмента овальная, усеченная снизу, сильно напоминающая народную домру Вятской губ. Выдолбленную часть кузова прикрывает прикрепленная на 4-х деревянных штифтах, толстая выстроганная доска с тремя голосовыми отверстиями. Подставка на ней для струн отнесена очень близко к месту их подвязки на обыкновенный толстый деревянный шпенек и сделана из согнутого и перекрученного бечевой можжевелового прута. <…>В этом экземпляре, имеющем три струны, поражает ширина грифа, говорящая за то, что владелец его обладал исключительной мощи рукой и длинными пальцами, позволявшими при игре не стесняться расстоянием между струнами». Впоследствии некоторые его коллекции пополнили государственные хранилища: собрание листовок и газет — Музей Революции, исключительную по полноте коллекцию афиш выступлений Маяковского — музей поэта в Москве.
Второй особенностью Е. Иванова как исследователя-этнографа было то, что во всех своих штудиях он прежде книжного материала пытался найти живых представителей данного социального уклада, той или иной профессии, даже, казалось бы, совершенно уже исчезнувшей.
Так, изучая скоморохов, кроме вполне «академически» собранного (впоследствии) огромного материала он отыскивал последних живых представителей вымершей профессии. Всех людей из фольклорного прошлого: гусляров, скоморохов, вожаков медведей, сказителей, ложечников — можно было встретить в квартире на Тверской, в доме 28, где сам ее эксцентричный хозяин прожил более полувека и которая многие годы была «открытым домом». Как вспоминает дочь Иванова Л. Е. Семенова (р. 1908), иногда ее отец принимал своих гостей лежа в гробу, который ставил посреди своего кабинета. В пьесе Иванова «Вечное» в сцене «Пещера доисторических людей» предполагалось участие двух удавов. Их дрессировкой занялся сам автор; театральная юмористическая пресса долго на разные лады склоняла этот факт.