Потребовалось время и терпение, чтобы вдолбить в голову Каспара простейшие вещи, известные каждому ребенку, что домашние животные отличаются от людей и что мячик подпрыгивает не потому, что он хочет прыгать. Такие же усилия потребовались для того, чтобы отучить его от хлебно-водной диеты и заставить есть каши.
Каспар делал успехи в обучении чтению и письму, проявлял интерес к садоводству, но все же сохранял определенные странности в поведении. Все, что он считал прекрасным, он называл «красным»,
дала у него под эти две категории. Никто даже не догадался дать ему краски, а ведь люди, у которых больше денег, чем ума, могли бы устроить настоящую битву за картины Хаузера.
Вскоре Каспар проявил удивительную предприимчивость для «совершенного идиота», неожиданно объявив о своем намерении написать историю своей жизни. Он приступил к своей работе, в то время как весь Нюрнберг чуть ли не сгорал от любопытства. Но позднее любопытство сменилось на тревогу, когда семнадцатого октября многообещающий автор был найден без сознания и с раной головы в подвале Даумера. Он приходил в сознание несколько дней. Когда Каспар, наконец, очнулся, то сообщил, что его ударил по голове мужчина с «черным лицом», вероятно, подразумевая кого-то в маске.
Это преступное нападение на того, кто в определенной степени прославил Нюрнберг, вызвало взрыв негодования среди высших должностных лиц города и особенно бургомистра. Юношу переправили в более надежное место и дали ему в охрану двух полицейских. Позже, в июне 1830 года, его снова переселили, отдав под опекунство господина фон Тачера.
Через восемь месяцев после этого британец лорд Стэнхоуп, которому пришлось по душе дитя Нюрнберга, обратился к городским властям за разрешением взять его к себе. Переговоры затянулись на месяцы, и все-таки Стэнхоуп, добившись оформления документа о передаче Каспара в его руки, отправил юношу в декабре 1831 года в Ансбах на попечение своего друга доктора Манера. Этот новый опекун пришел к заключению, что блестящие умственные способности Каспара не что иное, как фикция, а в действительности у него ум восьмилетнего ребенка. Он доложил об этом Стэнхоупу, который тут же утратил к этому делу всякий интерес и оставил Каспара в Ансбахе, больше не предпринимая никаких усилий, чтобы взять его в Англию.
Жители Ансбаха с восторгом и любопытством смотрели на Каспара, как будто они видели перед собою слона, украденного из соседнего цирка. Но этого слона не осчастливили меньшие по количеству толпы народа и уж совсем малое число сладких булочек. Каспар был слишком избалован большим вниманием к его персоне, и ему хотелось, чтобы так все и оставалось. Он мечтал вернуться в Нюрнберг. Шло время, и он становился все более удрученным. Он совершил краткосрочную поездку в Нюрнберг, и это еще больше усилило его желание вернуться туда насовсем.
В полдень 14 декабря 1833 года Каспар Хаузер, шатаясь, вошел в дом своего друга — священника в Ансбахе. Держа руку плотно прижатой к боку, он из последних сил произнес несколько неясных слов о том, что какой-то мужчина нанес ему удар острым предметом в городском саду. Его доставили домой, где доктор обнаружил, что у него серьезная рана в области левой части грудной клетки.
На следующий день Каспар смог дать более подробное объяснение этому происшествию. По его словам, он был приглашен в городской сад незнакомым человеком, предложившим открыть Каспару тайну его родителей, взяв взамен клятву молчания. Получив клятву, мужчина вручил ему маленький кошелек, нанес удар острым предметом и убежал. С целью нахождения кошелька были проведены поиски. Наконец, его обнаружили. В нем находилось бессмысленное послание, подписанное буквами «М.Л.О.» Нападавшего найти не смогли.
Рана дала осложнения, и 17 декабря Каспар Хаузер умер. Ансбах и Нюрнберг были ошеломлены этим известием. Слухи о происшествии распространились по всей Германии и докатились до ее границ. Разгорелись бурные споры. Среди людей циркулировали самые различные слухи. Закоренелые скептики клялись, что Каспар совершил крупнейший обман века. Истинные его почитатели утверждали, что он стал несчастной жертвой скандала в самых высоких кругах. А некоторые с большой уверенностью, но безо всяких доказательств, заявляли, что он был наследником баварского престола.
Люди, поддерживавшие теорию обмана, заявляли, что никаких нападений на Каспара Хаузера не было, что все эти случаи были вымышлены, а раны он себе нанес сам. Напротив, некоторые доктора отрицали, что он мог сам нанести себе такие тяжелые ранения. Мешок золота был предложен тому, кто сообщит информацию, способствующую задержанию убийцы. Однако ни один человек не сообщил по этому делу ничего существенного.