Свердлова называли «памятью партии», живым отделом учета ее актива, рядовых бойцов. В его памяти хранились самые важные сведения о характере, особенностях, талантах многих тысяч партийных работников. Глубокое и всестороннее знание партийных кадров было не только результатом феноменальной памяти Свердлова. Знание людей основывалось на глубокой любви и интересе к ним, борцам революции, участникам повседневной борьбы. Свердлов умел выявлять качества и способности работников, помогать их росту, умел находить людей, нужных в данный момент, на данном участке революции, поручать им такое дело, какое они лучше всего могут выполнить. Он знал людей в действии, движении, в работе.
«Помню, я, как фокусу, удивлялся, — вспоминал Луначарский, — когда к Якову Михайловичу обращались за справкой о таком-то N. или X. и он немедленно в кратких чертах давал необычайно виртуозную характеристику и партийной, и общественной работы, и карьеры этого человека, и свойств его характера — со стороны ума и воли, его талантов по отношению к тому или другому роду задач, основных его недостатков и т. д. Это бывала виртуозная характеристика, изумительное человековедение».
Острое зрение подпольщика позволяло ему проникать в самые сокровенные глубины человеческих характеров и ставить людей на службу партии, революционному делу. «Многолетняя революционная практика, — писал Ем. Ярославский, — давала ему богатую возможность знать всех выдающихся работников нашей партии. Его голова была учетно-распределительным отделом, она хранила в своей памяти образы тысяч подпольных работников, и она же фиксировала, закрепляла образы тысяч новых работников, пришедших к нам в дни революции. Свердлов распределял эти силы, помогал партии строить боевую организацию».
Свердлов выработал в себе это знание людей в ходе революционной борьбы, в процессе огромной организаторской работы. Он судил о человеке по его работе, причем по работе прежде всего в России, в массах. Направляя работника в Гельсингфорс, он пишет: «Послушайте его на митингах и присмотритесь вообще к его работе. Я знаю его по рекомендациям лишь заграничников, в работе российской его не видывали». Это весьма характерное для Якова Михайловича замечание — новые условия работы требуют и особой проверки качеств человека, его способностей, и именно «в работе российской».
Пройдет несколько лет, и Надежда Константиновна Крупская в своих воспоминаниях отметит, что революция выдвинула организаторов особого типа, вожаков, которые находились в постоянном общении с массой рабочих, знали рабочих людей в повседневной обстановке, в бытовом окружении. Некоторое время Надежда Константиновна после Апрельской конференции работала в Секретариате ЦК, и она наблюдала Свердлова в действии, видела, как к нему постоянно обращались за помощью, когда нужно было решить вопрос о расстановке людей, о направлении их на ответственные революционные посты.
Яков Михайлович постоянно бывал в рабочих кварталах, на заводах, в районных комитетах партии, всюду вникая в большие и малые дела, оказывая помощь словом и делом. Он никого не щадил, прямо и открыто высказывал свои суждения о работниках, но никогда не оскорблял человеческого достоинства. «Эта прямота в отношениях, — писал В. Д. Бонч-Бруевич, — создавала особенное расположение к нему со стороны рабочих. Яков Михайлович мог, как никто, „обрушиться“ на товарищей и, что называется, выругать того или иного вовсю, но решительно никто на него не обижался, так как все знали, что он это делает от чистого сердца, исключительно в целях революционного дела и что никакие личные отношения не заставят его подойти с неправильной оценкой к тому или другому товарищу».
Всюду, где работал Свердлов, везде, где проявлялся его организаторский талант, вокруг него объединялись люди, готовые отдать жизнь за торжество идей ленинизма, тесно связанные с массами и ведущие массы рабочих, солдат, крестьян на революционную борьбу. Сплочение людей, преданных делу революции, вокруг Свердлова — это, конечно, результат не только личных качеств Якова Михайловича. Имело громадное значение то, что он был неразрывно связан с партией, с Лениным и с той славной когортой руководителей-ленинцев, которая возглавляла борьбу за победу социалистической революции.