«Моя постоянная цель: создавать героического или нормального человека в поэзии, а также и в подлиной действительности, ибо поэтический тип берется из жизни, однако, несомненно, оказывает обратное на нее влияние. Воспитывает в народе героизм» (1907).
В конце 1905 года, когда каратели стали особенно жестоко расправляться с участниками революции и сочувствовавшими ей, Райнис вместе с Асназией покидает родину и снова отправляется в Швейцарию. За границу эмигрируют многие участники революции. В Цюрихе поэт встретился с профессиональным революционером Фердинандом Гринынем, который вскоре решил вернуться на родину, а спустя несколько месяцев погиб смертью героя в охранке. Впоследствии в книге воспоминаний «Кастаньола» поэт писал об этой короткой встрече. Давая оценку личности Гриныня, Райнис в известной мере раскрывал сущность своего творчества и сущность своих многочисленных исторических и легендарных героев, близких по духу этому стойкому революционеру.
«У этой тонкой артистической натуры была душа героя и мученика во имя великой пдеи; она сделала юношу бесстрашным, твердым, как сталь, бойцом за дело социализма, за Латвию. Он был таким типом героя, какого я старался изобразить в своих драмах — тонкая духовная организация, побеждающая в реальной жестокой борьбе… Я счастлив, что живым увидел именно то, что я представлял себе только в мечтах».
В эмиграции в швейцарском местечке Кастаньола, у озера Лугано, Райнис и Аспазия прожили пятнадцать лет. Швейцарию Райнис называл своей второй ссылкой и второй родиной. Сколь не прекрасна была природа этой страны, которая в течение долгих лет последовательно накладывала отпечаток на лирику Райниса, насыщая ее все новыми образами, сколь не сердечны были жители Кастаньолы, прожитые на чужбине годы дались нелегко.
Письма друзей и газеты приносили известия о расстрелах, арестах, гибели соратников по борьбе. А едва жизнь успела несколько нормализоваться, войти в привычную колею, началась первая мировая война. И снова известия о разоренной и опустошенной земле, о погибших, о скитаниях беженцев, о гибели тысяч людей.
В 1911 году в Риге вышло первое издание книги «Те, которые не забывают». Большая часть ее стихотворении написана в Швейцарии. Писались стихи в период усиливавшейся реакции, когда от революции отошли представители мелкой буржуазии и случайные попутчики. Себя поэт относит к числу «тех, которые не забывают» о целях революционной борьбы и о павших товарищах. В предисловии к изданию он писал:
«Последнее слово принадлежит тем, кому принадлежит будущее: юности и основному классу. Основной класс идет своим неуклонным, неотвратимым путем к великим преобразованиям; перед ним стоят необъятные цели, какие до сих пор еще ни перед кем не стояли… Основной класс не должен забывать, ни о прошлом своем, ни о будущем. А юность пусть видит, сколь трудно и сколь далеко предстоит идти нам по пути страданий — к преобразованиям; пусть она увидит и поймет, что благодаря этим страданиям мы завоевали себе право победить. А если это поколение не в состоянии следовать за ними, пусть знает, победа третьего поколения будет блистательной. Взгляните, на небе зарница — там те, кто ушел, и те, кто грядет».
Об этой книге Райнис говорил, что она тихая, тише «Тихой», осенняя песня, навеянная воспоминаниями о прошлом. И если «Тихая книга» прозвучала как траурный марш в честь погибших героев, то сборник «Те, которые не забывают» — это песни об эмигрантах. Грохот боя затих вдали, родина потеряна, битва проиграна, поэтому от книги веет щемящей грустью и болью. И, однако, трагическое звучание — только фон, помогающий с особой резкостью и четкостью сделать выводы, к которым неизбежно приводят утраты и поражения. Много сильнее, чем когда-либо до сих пор, здесь слышна мысль о единстве со всем международным пролетариатом. В полном издании книги рядом с райнисовскими строфами звучат армянские народные песни, стихи Микеланджело, афоризмы Кардуччи, выдержки из речей Джузеппе Мадзини, отнюдь не случайно включенные сюда Райнисом, потому что он считал, если «где-то человек борется за правду и справедливость, этот человек — ваш брат».