В частных письмах и дневниках того времени называется множество иных причин, из-за которых Карвену дивились, боялись его и наконец стали избегать как чумы. Известно было пристрастие купца к посещению кладбищ, где его не раз замечали в разное время суток, при различных обстоятельствах, однако ни один из свидетелей не смог обвинить его в каком-нибудь святотатственном деянии. Он владел фермой на Потуксет-Роуд, где обыкновенно проводил лето и куда, по рассказам очевидцев, часто направлялся верхом в жаркий полдень или самое глухое время ночи. Там его единственными слугами и работниками оставалась супружеская чета индейцев из племени наррангансетт — муж немой, покрытый какими-то странными шрамами, а жена неимоверно уродливая, возможно из-за примеси негритянской крови. В пристройке помещалась лаборатория, где производились химические опыты. Любопытные возчики и рассыльные, которые доставляли на ферму бутыли и флаконы, мешки и ящики, внося их через низенькие задние двери, потом рассказывали о фантастических плоских стеклянных сосудах, тиглях для плавки металлов, перегонных кубах и жарко пылающих печах, которые видели в низкой комнате, где вдоль стен протянулись полки; снизив голос до шепота, они пророчествовали, что молчаливый «химик» (они хотели сказать «алхимик») скоро обязательно найдет философский камень.
Ближайшие соседи Карвена, Феннеры, жившие за четверть мили от фермы, рассказывали еще более удивительные вещи о странных звуках, которые по их утверждениям доносились по ночам из сельского дома этого странного человека. Отчетливо слышались пронзительные вопли и какой-то сдавленный вой, говорили они; им казалось подозрительным, что на ферму по разным дорогам доставлялось огромное количество всякой еды и одежды: трудно вообразить, чтобы одинокий пожилой джентльмен и пара слуг могли съесть такое количество мяса и хлеба и износить столько прочного шерстяного платья. Каждую неделю появлялись новые припасы, а с фермы Кингстауна гнали целые стада скота. Тяжелое чувство внушало также большое каменное здание во дворе фермы, у которого вместо окон прорезаны узкие бойницы.
Бездельники, день и ночь шатающиеся по Большому Мосту, могли рассказать много любопытного о городском жилище Карвена, расположенном в Олни-Корт: не столько о красивом новом особняке, построенном в 1761 году, когда владельцу должно было исполниться сто лет, сколько о его первом обиталище, низеньком, со старинной мансардой, чердаком без окон, стенами, обшитыми тесом; Карвен со странной настойчивостью проследил, чтобы все до единого бревна и доски, оставшиеся после сноса, сожгли. Да, в сравнении с фермой дом казался не таким уж загадочным и мрачным местом, но негаснущий свет в окнах в самое необычное время, несокрушимое молчание единственной прислуги — двух чернокожих, вывезенных неведомо откуда, ужасное неразборчивое бормотание невероятно старого француза-домоправителя, ни с чем не сообразное количество пищи, доставлявшееся в дом, где по свидетельству очевидцев проживало только четыре человека, странные внушавшие страх голоса, которые вели приглушенные споры в самое неподходящее время, — все вышеперечисленное, вместе со слухами, ходившими о ферме в Потуксете, принесло ему недобрую славу.
В избранных кругах также не обходили вниманием дом Карвена; ибо, приехав в Провиденс, он постепенно проник в церковные и торговые сферы, приобрел самые солидные знакомства и, казалось, получал неподдельное удовольствие от общения с городской элитой. Он сам принадлежал к уважаемому семейству — в Новой Англии Карвенов или как их еще называли, Кэрвенов из Салема, хорошо знали. Выяснилось, что Джозеф еще в ранней юности много путешествовал, некоторое время прожил в Англии и совершил по крайней мере две поездки на Восток; когда удостаивал кого-нибудь разговором, речь его свидетельствовала об образованности и изысканном воспитании. Но по неизвестным причинам Карвен не любил общества. Никогда не проявляя невежливости к посетителям, он неизменно выказывал чрезвычайную сдержанность, словно отгораживался невидимой стеной, так что гости не решались завязать беседу, опасаясь, что слова их сочтут нелепостью и пошлостью.
В его поведении сквозило какое-то загадочное, презрительное высокомерие, словно он общался с неведомыми могучими существами и стал считать людей скучными и ничтожными созданиями. Когда в 1738 году в Провиденс из Бостона приехал знаменитый острослов доктор Чекли, назначенный ректором в Королевскую церковь, он не упустил случая посетить человека, о котором так много слышал, но визит оказался весьма кратковременным, потому что гость отчетливо уловил нечто зловещее в речах любезного хозяина. Однажды зимним вечером, беседуя с отцом о своем предке, Чарльз сказал, что многое дал бы, чтобы узнать, какие слова загадочного старого Карвена так поразили ректора, что все составители мемуаров в один голос свидетельствуют о нежелании доктора Чекли повторить хоть что-нибудь из услышанного. Добряк был поистине шокирован и при одном упоминании имени Карвена лишался своей прославленной жизнерадостной общительности.