Переезд семьи Римских-Корсаковых в Тихвин относится, по-видимому, ко второй половине тридцатых годов. Супруга Андрея Петровича — София Васильевна была дочерью орловского помещика Скарятина и крепостной. Знавшие Софию Васильевну характеризуют ее как женщину умную и образованную, оказавшую большое благотворное влияние на обоих сыновей, старшего — Воина и младшего — Николая, или, как его называли в семье, Нику, будущего выдающегося композитора. Биографы Николая Андреевича отмечают, что первой его учительницей стала мать. Вероятно, и Воин Андреевич, не чуждый интереса к музыке, получил от Софии Васильевны элементарную музыкальную подготовку.
Андрей Петрович Римский-Корсаков был старше своей жены на восемнадцать лет. Их брак состоялся по любви. Родовитого дворянина не смутило сомнительное, с точки зрения аристократической среды, происхождение невесты. Андрей Петрович оказался выше сословных предрассудков. Кстати, поселившись в Тихвине, отставной губернатор еще оставался владельцем нескольких крепостных семей. Как вспоминает Николай Андреевич Римский-Корсаков в своей книге "Летопись моей музыкальной жизни", отец его, будучи принципиальным противником крепостного права, отпустил одного за другим на волю всех своих дворовых. Они остались в доме Римских-Корсаковых в качестве наемной прислуги. Факт примечательный.
К своему аристократическому происхождению, к истории рода, окутанной самыми фантастическими легендами, Андрей Петрович относился с иронией. Он не одобрял тех людей своего круга, которые кичились действительными или мнимыми пращурами, упоминавшимися в древних родословных.
О происхождении Римских-Корсаковых в свое время существовало немало легенд. Еще в XVII веке его представители назывались просто Корсаковы. Но в конце века трое братьев Корсаковых добились от царя разрешения именоваться Римскими-Корсаковыми, дабы отделиться от каких-то других, не имевших прямого отношения к их роду однофамильцев. Свою челобитную братья мотивировали тем, что их предок Сигизмунд, выехавший на Русь во времена великого князя московского Василия Дмитриевича, сына Дмитрия Донского, был будто бы чешского происхождения, подданным римского императора (Чехия, как известно, входила в состав Священной Римской империи).
Тогда же, в конце XVII века, была составлена легендарная генеалогия рода Римских-Корсаковых, ведущих свое начало якобы от античного мифического героя Геркулеса. Сочинение подобных легенд в ту пору, когда еще не было покончено со всеми пережитками местничества и каждое семейство пыталось перещеголять друг друга своими претензиями на знатность и древность, было явлением довольно распространенным.
Лишенный какого бы то ни было чувства сословной кичливости, Андрей Петрович гордился выдающимися представителями своей семьи. Сыновьям он внушал, что долг человека — в честной службе Отечеству и ставил в пример брата своего. Посвятивший себя морской службе, I Николай Петрович Римский-Корсаков во время Отечественной войны 1812 года перешел в сухопутную армию и отличился в боях под Смоленском, Бородином и Тарутином. В дальнейшем он вернулся во флот и в 1823–1826 годах участвовал в кругосветном плавании под руководством известного русского мореплавателя и ученого О.Е. Коцебу. Именем Н.П. Римского-Корсакова были названы острова в Тихом океане. Занимая ряд высоких командных постов в российском флоте, Николай Петрович дослужился до адмиральского звания. В последние годы жизни он возглавил морской корпус, сменив на этом посту прославленного Крузенштерна.
К моменту переезда Римских-Корсаковых в Тихвин их первенец и в то время единственный сын Воин, или по-домашнему Воинька, был уже воспитанником морского корпуса. К родителям он наезжал лишь во время редких и кратковременных отпусков. Летних каникул в общепринятом смысле этого слова учащимся корпуса не полагалось. В летние месяцы они выходили в учебное плавание.
Домашняя обстановка оказала немалое влияние на формирование характера и кругозора мальчика. Независимость суждений, отвращение к деспотизму и беспринципному карьеризму, честность и прямота, свойственные Андрею Петровичу, могли послужить хорошим примером для сына.