Выпускнику Таганрогской мореходки Азовское море с его килькой показалось мелковатым, и он попросился на Сахалин, где стал работать на промысловых судах. В марте 1955 года он — участник совещания актива работников рыбной промышленности. Совещание, на котором присутствует первый секретарь Сахалинского обкома КПСС П. Чеплаков, должно дать ответ на вопрос: как рыбакам выйти из глубокого провала? В 1954 году только 22 процента общего календарного времени суда находились в море и лишь 12 процентов — непосредственно на лове. И вот выходит на трибуну добрый молодец с кудрявой золотистой шевелюрой и рубит невзирая на лица: «Из-за неумелого, неоперативного руководства флотом Главсахалинрыбпрома и управления активного лова наши усилия не дают желаемых результатов… Следует отметить, что и после слияния Томаринской сейнерной базы, Невельской базы морского лова и управления «Сахалинрыбфлот» в единое управление активного морского лова дело не улучшилось. Реорганизация прошла, а порочный стиль руководства остался. Работники управления тт. Бута, Шкуро и другие руководят флотом с помощью радиограмм и не знают положения на местах».
Молодого капитана заметили. Его посылают в годичную школу усовершенствования плавсостава г. Владивостока. В том же 1957 году начальник Главсахалинрыбпрома А. Бабаев назначает его флагманским капитаном. В 28 лет он занял должность, которую обычно вручали зрелым мореходам. Экспедиции, возглавляемые Рытовым, отличались четкой организацией труда, перевыполнением плановых показателей, отсутствием чрезвычайных происшествий. Правда, как-то случай неприятный вышел. С одного судна доложили: рыбак проворовался, матросов с трудом удержали от расправы. Рытов немедленно прибыл на судно, приказал выстроить команду и привести виновника.
— Я принял решение, — прогремел голос флагмана, — повесить его! Боцман, соорудите петлю!
Боцман вытаращил глаза.
— Выполняйте, я отвечаю!
Когда воришка понял, что зависшая петля и табурет под ней завершают его земные мытарства, он упал на колени и пополз к ногам Рытова, прося прощения. Строй стушевался. Рытов подошел к команде:
— Ну что, простим гада?
— Да не марайте рук! Только уберите его с наших глаз.
Рытов, предупреждая возможный донос, об этом казусе доложил работнику Холмского горкома Б. Касянюку. Тот решил не раздувать кадило, лишь спросил:
— А если бы моряки утвердили твой приговор?
— Во-первых, я был убежден, что они никогда этого не сделают. Во-вторых, запасной вариант решения у меня был. Какой? Капитанская тайна.
Отличался Рытов и тем, что любил «закинуть за воротник». О его ресторанных подвигах ходили легенды, его удар ввергал «противника» в состояние контузии. В вышестоящих инстанциях реагировали так: пьян да умен — два угодья в нем, умеет в лоб дать — так это достоинство мужчины, а не порок. Зато инициативен, трудолюбив, дело знает досконально, костьми ляжет, но слово сдержит, за чужую спину не прячется.
В феврале 1959-го тридцатилетнего Рытова назначают на должность заместителя начальника управления сейнерного флота, где он отвечал за добычу и состояние флота, был ломовой лошадью, которая везла самую тяжелую поклажу. Именно этот трудный период в пять с половиной лет стал стартовой площадкой, откуда он начал стремительный взлет. За труды в этой должности ему вручили орден «Знак Почета». В мае 1965 года его назначают начальником управления морского рыболовного и зверобойного флота, через полтора года — начальником управления океанического рыболовства. В Корсакове он пробыл всего полгода, видимо, ждали, пока получит диплом в Дальрыбвтузе.
В этот короткий период вплетается эпизод, характеризующий деловые качества Рытова. К нему прибыл инспектор областного комитета народного контроля Владимир Григорьевич Немцев:
— К нам поступила жалоба от жен ваших моряков: они не могут получить зарплату мужей…
Пробежав глазами бумагу из комитета, подписанную В. Лобановым, Рытов вызвал секретаршу:
— Меня ни с кем не соединять, ко мне никого не пускать, пусть немедленно придут… Сидите здесь! — обратился он к Немцеву.
Инспектор с интересом наблюдал. В подобных случаях руководящие лица отвечали: разберемся, в положенный срок дадим ответ. Рытов разрешил вопрос в течение двух часов. Он вышел на связь с судами, затребовал документы, выслушал приглашенных, кого-то отчитал, кому-то объяснил, погасил возникший было спор. Логика его была проста, как палка: