Раньше Гильберт верил, что сомнения Кронекера в законности теории множеств и некоторых частей анализа можно было устранить введением понятия совместности, или непротиворечивости. Это понятие должно было заменить критерий математической истины, основанный на явной конструкции исходя из множества целых чисел. Для этого потребовалось бы получить полное доказательство непротиворечивости арифметики вещественных чисел. До открытия парадоксов он полагал, что требуемое доказательство непротиворечивости можно было довольно просто получить подходящей модификацией известных методов рассуждений в теории иррациональных чисел. Однако после того, как в теории множеств были обнаружены парадоксы, с которыми была связана бoльшая часть его рассуждений, он понял, что ему придётся переменить свою точку зрения. В конце лета 1904 года, когда в Гейдельберге открылся третий международный конгресс математиков, Гильберт бросил на время интегральные уравнения с тем, чтобы поднять вопрос об основаниях математики.
По убеждению Кронекера, целое число лежит в основе арифметики и единственным критерием существования в математике должна служить конструкция, использующая конечное множество таких чисел. Гильберт и теперь, как прежде, резко противился такому ограничению математики и её методов. Как и Кантор, он твёрдо верил, что суть математики в её свободе, и видел в любом ограничении настоящую угрозу науке. Он был убеждён, что существует способ избавиться от парадоксов, не принося тех жертв, которые требовала точка зрения Кронекера. Однако предлагаемое им решение заставляло пойти ещё дальше, чем шёл Кронекер.
Гильберт настаивал теперь на том, что само понятие целого числа «может и должно» иметь обоснование.
«Арифметика часто рассматривается как часть логики, а традиционные фундаментальные логические понятия считаются, как правило, известными, если дело касается обоснования арифметики, — говорил он математикам, собравшимся в Гейдельберге. — Однако если внимательно посмотреть, то мы обнаружим, что в традиционных изложениях законов логики уже используются некоторые фундаментальные арифметические понятия, например понятие множества и даже, в некотором смысле, понятие самого числа. Тем самым мы оказываемся в порочном кругу, и именно поэтому, чтобы избавиться от парадоксов, нужно до некоторой степени одновременно развивать законы логики и арифметики».
Я убеждён, говорил им Гильберт, что на этом пути может быть найдено «строгое и вполне удовлетворительное обоснование» понятия числа — того «числа», частным случаем которого будут не только натуральные числа Кронекера и их отношения (рациональные дроби), но также иррациональные числа, против которых столь резко протестовал Кронекер, но без которых, по мнению Гильберта, «весь анализ был бы осуждён на бесплодие».
Именно в Гейдельберге Гильберт предложил, чтобы впервые в истории математики само доказательство стало объектом математического исследования.
Пуанкаре несколько раз неодобрительно комментировал эту идею. Французский математик был убеждён, что принцип полной, или математической, индукции свойствен интеллекту («на языке Кронекера, — как однажды Гильберт прокомментировал эту точку зрения Пуанкаре, — создан богом») и поэтому этот принцип нельзя доказать, не используя эту же полную индукцию.
Гильберт не взялся выполнять своё пожелание, высказанное в Гейдельберге. Вместо этого он снова принялся за свою теорию интегральных уравнений и одновременно, в компании с Минковским и по его предложению, начал изучать классическую физику.
Минковский был уже хорошо знаком с технической стороной в области физики; Гильберт не имел об этом почти никакого представления и был знаком только с основными положениями теории. Тем не менее он отнесся к этому проекту с энтузиазмом. Во второй раз с момента окончания учебы — первый был связан с Zahlbericht — он взял курс на «изучение литературы», Больше всего это произвело впечатление на Блюменталя, для которого уже сейчас стало делом жизни изучать характер и личность своего учителя. Он помнил случай в свои студенческие годы, когда при чтении литературы он, к своему страху, обнаружил, что красивейшая часть его диссертации уже опубликована в другой работе. Гильберт, как он помнил, лишь пожал плечами и сказал: «Зачем вам потребовалось знать так много литературы?»
Клейн с интересом следил за этими совместными занятиями физикой. В возрасте 17 лет он был ассистентом у Юлиуса Плюккера в Бонне. В то время он решил, что «после приобретения необходимых знаний в математике» он посвятит свою жизнь физике. Затем спустя два года Плюккер умер (аналогично тому, как в период жизни Минковского в Бонне умер Генрих Герц). Переезд в Гёттинген, где математики составляли значительно более энергичную группу, чем физики, сделал из Клейна математика, а не физика.