Немного известно о родословной Давида по материнской линии. Карл Эрдтман был купцом из Кёнигсберга, его дочь Мария Тереза стала матерью Давида. Это была необычайная женщина — «оригинал» в немецком понимании этого слова. Она интересовалась философией, астрономией и была очарована простыми числами.
Рождение Давида почти в точности совпало с рождением германского национализма. Несколькими месяцами ранее брат умершего короля Пруссии совершил традиционное паломничество в Кёнигсберг. Здесь, в старинной замковой церкви, он возложил на свою голову корону Прусской империи. Спустя некоторое время он назначил главным министром своего двора графа Отто фон Бисмарка-Шёнхаузена. В последующий период войн за объединение Германии под началом Пруссии отец Давида стал городским судьей и переехал вместе со своей семьей в Кёнигсберг.
Река Прегель с Кенигсбергским замком на заднем плане.
Столица Восточной Пруссии возникла в середине тринадцатого столетия, когда рыцари Тевтонского ордена построили свой замок на пойме, расположенной между двумя рукавами реки Прегель 3, впадающей в Балтийское море. И во времена Давида этот прочный замок всё ещё стоял, окружённый городом, незадолго до этого модернизованным с помощью газового света и конки. Дом Гильбертов на Кирхенштрассе, 13 был в нескольких кварталах от реки — «наших ворот к свободе», как любили её называть жители Кёнигсберга. Хотя город находился в четырёх с половиной милях от устья Прегели, резкий солёный вкус Балтики был повсюду. По зелёным лужайкам разгуливали чайки. Морские ветры наполняли яркие паруса рыбацких лодок. Запах солёной воды, рыбы, дёгтя, древесины и копоти висел над городом. Лодки и баржи, поднимавшиеся по Прегели, везли экзотические товары, нагружаемые и разгружаемые перед высокими пакгаузами, стоявшими на берегу реки. Возвращаясь к морю, они везли Bernstein (янтарь) и прекрасное белое, как облако, вещество, используемое при изготовлении курительных трубок и называемое Meerschaum 4. Семь больших мостов, каждый со своей собственной и заботливо охраняемой индивидуальностью, связывали берега Прегели с маленьким островом. Не имея собственных источников воды, он назывался Кнейпхоф, что означает пивной двор. Благодаря именно этим мостам Кёнигсберг впервые вошел в историю математики. За столетие до этого Эйлер решил одну задачу, связанную с этими мостами, положившую начало тому, что теперь называется топологией. Кёнигсбергский собор был расположен на Кнейпхофе, рядом с ним находились старый университет и могила Иммануила Канта — величайшего сына Кёнигсберга.
Детство Гильберта, как и большинства подростков Кёнигсберга, прошло в атмосфере преклонения перед Кантом. Каждый год 22 апреля, в годовщину рождения великого философа, его склеп, рядом с собором, был открыт для публики. В такие дни Давид, несомненно, сопровождал свою философски настроенную мать, чтобы почтить память Канта, видел бюст со знакомыми чертами, украшенный в этот особый день свежим лавровым венком, и читал на стене склепа:
«Величайшие чудеса суть звёздное небо надо мной и моральный закон во мне».
Мать должна была также обратить внимание сына на созвездия и ввести его в мир тех интересных «первых» чисел, которые, в отличие от других, делятся только на себя и на 1.
Благодаря отцу раннее обучение Давида носило отпечаток прусских черт пунктуальности, бережливости, преданности долгу, усердия, дисциплины и уважения к закону. Должность судьи в Пруссии доставалась продвижением по гражданской службе. Это была удобная и надёжная карьера для консервативного человека. По рассказам, судья Гильберт был довольно ограниченным человеком, со строгими взглядами на добропорядочное поведение, настолько постоянным в своём образе жизни, что изо дня в день придерживался строго определённого распорядка и так «осел» в Кёнигсберге, что покидал его только в свои ежегодные каникулы, отправляясь в это время на Балтийское море.
Давид был единственным сыном Гильбертов. С шести лет у него появилась сестра, названная Элизой.
В год, когда Давиду исполнилось семь лет, сам король, ставший вскоре кайзером Германии, впервые после своей коронации вернулся в Кёнигсберг. Мальчику представился случай лично увидеть человека, которому, говоря словами городской хроники, «предназначалось возвысить свой дом до величайшего великолепия, а свою родину до величайшего могущества». Когда большая толпа людей собралась на деревянном мосту над замковым озером, чтобы увидеть короля, мост, не выдержав тяжести, рухнул, вследствие чего утонуло 67 человек.
На следующий год Пруссия начала войну против Франции. Через несколько месяцев триумфальная новость облетела столицу Восточной Пруссии — французский император взят в плен. В то время как Бисмарк и генералы готовились к осаде Парижа, восьмилетний Давид начал ходить в школу. Обычным возрастом для поступления в школу было шесть лет, и опоздание на два года указывает, что, по-видимому, свои первые уроки Давид получил дома, скорее всего от своей матери. Она была уже почти инвалидом и, как говорят, бoльшую часть времени проводила в постели.