Однако самые зловещие слухи о Джозефе Карвене распространялись возле доков, расположенных вдоль южной части Таун-стрит. Моряки — суеверный народ, и просоленные морские волки, из которых состояли команды шлюпов, перевозивших ром, рабов и патоку, речных каперов и больших бригов, принадлежавших Браунам, Кроуфордам и Тиллингестам, осеняли себя крестным знамением и складывали пальцы крестом, когда видели, как худощавый, обманчиво молодой, желтоволосый Джозеф Карвен, слегка сгорбившись, заходил в принадлежавший ему склад на Дублон-стрит или разговаривал с капитаном и суперкарго у длинного причала, где беспокойно покачивались его корабли. Даже служащие и капитаны, работавшие на Карвена, боялись и ненавидели хозяина, а всех матросов набирали из сброда смешанных кровей с Мартиники, острова св. Евстахия, из Гаваны или Порт-Ройяла. По правде говоря, именно то обстоятельство, что команда Карвена так часто менялась, стало основной причиной суеверного страха, который моряки испытывали к таинственному старцу. Получив разрешение сойти на берег, его люди рассеивалась по городу; некоторых, по всей вероятности, посылали с разными поручениями. Но когда они вновь собирались на палубе, можно было побиться об заклад, что нескольких обязательно недосчитаются. Такие поручения в основном касались фермы на Потуксет-Роуд; ни одного из матросов, отправленных туда, больше не видели. Все это понимали, и со временем Карвен начал испытывать серъезные проблемы с набором своей разношерстной команды. Послушав разговоры в гавани Провиденса, почти всегда несколько человек сразу же дезертировали, и заменить их новыми людьми, завербованными в Вест-Индии, стало для купца очень трудно.
К 1760 году Джозеф Карвен фактически превратился в изгоя: с ним никто не хотел знаться, ибо его подозревали в связи с дьяволом и во всевозможных злодействах, казавшихся обывателям еще более чудовищными из-за того, что никто не мог сказать внятно, в чем они заключаются, или даже привести хоть одно доказательство того, что эти ужасы действительно происходят. Возможно, последней каплей стало дело о пропавших в 1758 году солдатах: в марте и апреле два королевских полка, направлявшиеся в Новую Францию, были расквартированы в городе и в итоге непонятным образом поредели в гораздо большей степени, чем обычно бывает из-за дезертирства. Ходили слухи, что Карвена часто видели беседующим с облаченными в красные мундиры парнями; и поскольку многие из них потом бесследно исчезли, снова вспомнились странные пропажи моряков. Трудно сказать, что случилось бы, останься полки в городе на более длительный срок.
Тем временем благосостояние Карвена все росло и росло. Он фактически монопольно торговал селитрой, черным перцем, корицей и с легкостью превзошел другие торговые дома, за исключением Браунов, в импорте медной утвари, индиго, хлопка, шерсти, соли, такелажа, железа, бумаги и различных английских товаров. Такие купцы, как Джеймс Грин из Чипсайда, на лавке которого красовался слон, Расселы, торговавшие напротив Большого Моста под вывеской «Золотой орел», или Кларк и Найтингейл, владельцы харчевни «Рыба на сковородке», почти полностью зависели от него, ибо Карвен владел большей частью их недвижимости; а договоры с местными виноделами, коневодами и маслоделами из племени наррагансетт, а также с мастерами, отливавшими свечи в Ньюпорте, превратили его в одного из наиболее крупных экспортеров колонии.
Подвергнутый своеобразному остракизму, Карвен все же не утратил чувство гражданского долга. Когда сгорел дом Управления колониями, он щедро подписался на значительную сумму для проведения благотворительной лотереи, благодаря которой в 1761 году построили новое кирпичное здание, по сей день красующееся на старой Главной улице. В томже году он помог перестроить Большой Мост, разрушенный октябрьским штормом. Восстановил Публичную библиотеку, сгоревшую при пожаре в Управлении колониями, и сделал множество покупок на благотворительном базаре, на выручку от которого грязную улицу Маркет-Парад и изрезанную глубокими колеями Таун-стрит вымостили большими круглыми булыжниками, да еще посредине устроили дорожку для пешеходов, названную на французский манер «козэ». К этому времени он уже выстроил себе не отличающийся особо оригинальной архитектурой, но роскошный новый дом, двери которого представляли собой шедевры резьбы по дереву. Когда в 1743 году приверженцы Уайтфилда отделились от Церкви на холме доктора Коттона и основали свой храм во главе с деканом Сноу напротив Большого Моста, Карвен присоединился к ним, правда оставался ревностным прихожанином совсем недолго. Позже он снова начал демонстрировать набожность, очевидно желая избавиться от падшей на него тени, ибо сознавал, что, если не принять самые решительные меры, зловещие слухи могут сильно повредить торговым делам.