Ремесленники колонии изготавливали мебель, двери, рамы, черепицу из секвойи, телеги, колеса, бочки, «коляски о двух колесах», выделывали кожи (70–90 штук ежегодно поставлялось в Новоархангельск), обрабатывали железо и медь. Строились суда, продавая некоторые испанцам, не имевшим до того времени здесь ни одного корабля. Но, несмотря на эти достижения, селение было убыточным. Пшеница не давала хорошего урожая, обмен с хозяевами страны — испанцами не приносил ощутимой прибыли. Сильно сократилась и местная популяция пушных зверей, поэтому живность в округе была быстро выбита и торговля пушниной со временем сошла на нет. Историк Российско-Американской компании Тихменев подвел такой итог: «Как стратегический пункт, по отдаленности своей от колонии, заселение не могло иметь также никакого значения, тем более, что и небольшой залив Бодего не мог соответствовать этой цели. Словом сказать, при таком положении дела заселение представляло собой для колоний только тяжелую обузу».
После соглашения администрации Российско-Американской компании в Новоархангельске (ныне Ситка) и Компании Гудзонова залива в форте Ванкувер надобность в поставках продовольствия из Форт-Росса отпала. В 1839 г. Российско-Американская компания приняла решение оставить Росс и продать его. Международный статус фактории Росс так и не был определён: правительство Мексики, продолжавшее считать землю под Россом своей, не пожелало платить за неё, ожидая, что русские просто забросят колонию. Наконец, 13 декабря 1841 г. был подписан контракт между А. Г. Ротчевым и гражданином Мексики швейцарского происхождения Джоном Саттером о продаже ему всей недвижимости Росс за 30 тыс. пиастров, или 42 857 руб. серебром. В Америке имя Джона Саттера (John Sutter) (Иоганн Август Зуттер) (23 февраля 1803–18 июня 1880), калифорнийского предпринимателя швейцарского происхождения, известно в связи с золотой лихорадкой: в 1848 г. вблизи лесопилки Саттера было обнаружено первое золото. Впоследствии на его земле основали столицу Калифорнии город Сакраменто. Известно также, что он имел тесные связи с русскими, в частности, с последним правителем РАКа Ротчевым, и приезжал в Новоархангельск. В Форт-Россе Саттер никогда не жил, назначая туда наёмных управляющих.
Злоключения крепости на этом не закончились. Мексиканские власти признали сделку недействительной и через четыре года передали Форт-Росс другому владельцу. Их сменилось немало, и каждый приспосабливал бывшую крепость для своих нужд: под лесной склад, богатое ранчо, непритязательный отель или веселый салун-трактир. Последним управляющим был Вильям Бенитц (William Benitz), который стал арендовать Форт у Саттера. Он в несколько раз увеличил старый русский сад, расширил дом Ротчева, где и жил с 1846 г., построил причал. В 1867 г. Бенитц разделил свои владения на две части и продал их разным покупателям. Форт отошел к Джеймсу Диксону (James Dixon), а 1873 г. его выкупил за 35 тыс. долларов Джордж Колл (George W. Call), поселившийся там с семьёй и превративший его в небольшой интенсивно используемый порт. Тогда же бывшая русская колония начала привлекать первых туристов. В 1903 г. Колл продал Форт Калифорнийской лиге исторических объектов (California Historical Landmarks League), которая в 1906 г. перепродала его штату Калифорния. Это случилось за месяц до сильнейшего землетрясения, разрушившего Форт. К 1916 г. он был восстановлен по сохранившимся деталям. Это бедствие не было последним: 5 октября 1970 г. пожар полностью уничтожил часовню. Через несколько месяцев после этого сгорела крыша дома Ротчева.
Для выходцев из России Форт-Росс был частичкой утерянной родины, и в русских общинах нет-нет да и возникали инициативы по его реконструкции и созданию музея. А. П. Фарафонтов, П. С. Оленич, В. Н. Арефьев, Г. Е. Родионов, Т. Ф. Токарев, входившие в Деловой комитет по созданию музея Форт-Росса, а также семья Лебедевых и отец А. Вячеславов провели первые реставрационные работы в часовне. Ее открыли 4 июля 1925 г., когда было совершено первое богослужение. В дальнейшем этот день отмечался ежегодно: прихожане Свято-Троицкого собора в Сан-Франциско устраивали паломничество в Форт-Росс, где торжественно проводилась литургия.
Через 12 лет, в 1937 г., эти деятели стали основателями Русского исторического общества в Америке, в которое вошли многие известные ученые, интересующиеся русской историей, как из Америки (А. П. Кашеваров, Г. З. Патрик, Е. А. Москов и др.), так и из Европы (С. Г. Сватиков и др.). Первый председатель А. Фарафонтов со своими коллегами предложил два основных направления деятельности: просветительская и научно-исследовательская. Сразу же были установлены связи не только с известньщи исследователями-американистами, но и с университетами (Калифорнийским и Вашингтонским), библиотекой Конгресса и Калифорнийским историческим обществом. Деятели Общества продолжили работы по приведению в порядок развалившейся крепости Росс, а также занялись составлением очерка по ее истории. Первые труды членов Общества вышли в Записках. Был также выполнен проект памятника-часовни Русской славы, который хотели установить на Русской горе в Сан-Франциско.