Наиболее существенный вклад Чарльзом Бэббиджем был сделан в области механических вычислений, хотя признание пришло спустя долгое время после его смерти. Стремившийся к совершенству Бэббидж высоко ценил точность и видел необходимость улучшать механические калькуляторы своего времени. Примитивные и управляемые вручную, они не только медленно работали, но и были склонны к ошибкам. Из-за небрежности ошибки встречались в большом количестве в астрономических картах и навигационных таблицах, ошибки, которые приводили к трагическим кораблекрушениям. Бэббидж пытался изобрести такую машину, которая могла бы выполнять две операции: вычислять и выводить на печать математические таблицы, тем самым избегая ошибок, которые возникают между рукописной копией и отпечатанной версией.
Однажды вечером, когда полусонный Бэббидж просматривал таблицу логарифмов в комнате Аналитического общества, к нему подошел другой член общества и спросил, о чем он мечтает. Посмотрев вверх, Бэббидж ответил, что думает о возможности найти способ подсчитывать все таблицы на машине. Этот короткий, довольно-таки незначительный разговор стал поворотным пунктом в ранней истории компьютеров. Бэббидж решил все свое время использовать для того, чтобы приблизиться к своей цели — автоматизации вычисления математических таблиц. К 1822 году он спроектировал то, что он назвал разностной машиной, маленькое устройство для вычисления таблиц, важных для навигации. Бэббидж создал небольшую рабочую модель. Она могла управлять шестизначными числами и выражать в числах любую функцию, которая имела постоянную вторую разность. Затем 14 июня 1822 года, выступив перед Королевским астрономическим обществом, он предложил создание большой, в натуральную величину разностной машины, первого автоматического вычислительного устройства. Его научный доклад обществу, озаглавленный «Наблюдения за применением машинного оборудования к вычислению математических таблиц», был хорошо принят. «Вся арифметика теперь происходила внутри способного к быстрому восприятию механизма», — писал он позже. Этот доклад был самым первым докладом по механическому вычислению. Бэббидж представлял себе машину, которая могла делать многочисленные вычисления автоматически. Когда машина начнет работать, оператор будет выполнять работу наблюдателя. Как провозгласил Бэббидж в письме к президенту Королевского общества сэру Хемфри Деви, люди теперь избавлены от «невыносимого труда и утомляющей монотонности» математических вычислений; вместо этого машины, используя «гравитационную или любую другую движущую силу», могли запросто заменить человеческий интеллект.
Разностная машина снабжалась бы силовым двигателем при помощи падающего груза, поднимаемого паровой машиной. По одной версии машина Бэббиджа печатала бы числа с 18 знаками. Не было бы больше типографских ошибок, потому что таблицы печатались бы прямо с металлических пластин машины.
К июлю 1823 года Бэббидж добился согласия канцлера казначейства предоставить ему 1500 фунтов, что было гораздо меньше, чем требовалось, но, тем не менее, приличная сумма. Этого было достаточно, чтобы поддержать у Бэббиджа веру в то, что он заручился поддержкой официального покровителя на необходимое время, что было ошибочным мнением с его стороны. Разностная машина была самым крупным проектом того времени, финансируемым правительством, предположительно потому, что правительственные официальные лица были заинтересованы обещанием более точных навигационных и артиллерийских таблиц. В конечном счете Бэббидж вложил от 3000 до 5000 фунтов из собственного кармана, предполагая, что со временем правительство возместит ему затраты. Он нашел выдающегося инструментального мастера Англии Джозефа Клемента, который в свою очередь взял лучших рабочих страны.
Бэббидж надеялся построить действующую машину через два или три года, но скоро обнаружил, что это слишком оптимистично. Собрать вместе детали, которые дали бы ему возможность создать части машины, оказалось намного сложнее, чем предполагалось. Несколько следующих лет он проектировал детали машины, а потом пытался построить машину, которая бы делала сами детали. Это была утомительная и тщетная работа, которая не дала желаемых результатов, хотя способствовала развитию британского инструментального мастерства. Временами казалось, что Бэббидж был сам себе врагом. Его одержимость совершенством толкала его на многочисленные изменения в чертежах. Рабочим приходилось заново изобретать новые детали, затягивая проект. Его младший сын Чарльз умер в июне 1827 года, жена в августе того же года. Бэббидж переложил заботу о выживших детях на свою мать. Он так и не женился вновь. Следующий год Бэббидж провел за границей.
Хотя он унаследовал 100 000 фунтов от отца и получил дополнительных 1500 фунтов от правительства, финансовые дела продолжали беспокоить Бэббиджа. Он вложил свои собственные деньги, друзья предоставили 6000 фунтов. Тем не менее прошло 20 лет после того, как он задумал разностную машину, а она осталась неоконченной, в то время как Бэббидж и британское правительство находилось в конфликте по поводу собственности изобретения. С одной стороны, процесс создания машины разности был замедлен из-за разногласий между Бэббиджем и Клементом. Клемент всегда считал, что с Бэббиджем трудно работать, но еще одна проблема встала, когда Бэббидж решил перенести мастерскую ближе к своему дому (мастерская Клемента была в 4 милях). Когда Бэббидж попросил Клемента переехать с инструментами и чертежами в новую мастерскую, последний отказался. Его не привлекала перспектива вынужденно делить свое время и энергию между двумя рабочими адресами. Бэббидж оказался в затруднительном положении. Он не имел желания платить Клементу из своего собственного кармана, но понимал, что отсутствие Клемента означало бы приостановку проекта. Бэббидж оказался экономным, поэтому все работы по разностной машине были остановлены в 1833 году.
Приблизительно в это же время шведский технический редактор Георг Шютц, прочитав об устройстве в «Эдинбургском обозрении», предпринял попытку построения разностной машины, похожей на машину Бэббиджа. Вскоре к проекту присоединился его сын инженер Эдвард. Не сумев заручиться поддержкой шведского правительства, эти двое продолжали самостоятельно, создав к 1840 году небольшую машину, которая могла производить операции с разностями первого порядка. В течение нескольких следующих лет они расширили машину до трех порядков разности и создали печатающее устройство. К 1853 году они имели свою «табличную машину», как они назвали ее, которая могла выполнять операции с разностями четвертого порядка, обрабатывать 15-значные числа и выводить на печать результаты. Она вычисляла намного быстрее, чем любой человек, и представила первое реальное доказательство тому, что машины могут быть использованы в операциях с числами.
В 1854 году семья Шютцев показала свое изобретение Королевскому обществу в Лондоне, получив поддержку самого Чарльза Бэббиджа. На большой выставке в Париже в следующем году табличная машина завоевала золотую медаль, частично благодаря попыткам воздействия Бэббиджа на членов комиссии. Награжденное золотой медалью, семейство смогло продать машину за 5000 долларов доктору Бенджамину Гоулду, директору Дадлинской обсерватории в Олбани, штат Нью-Йорк. Доктор Гоулд использовал ее для вычисления ряда таблиц, связанных с орбитой планеты Марс. Однако, несмотря на всю точность машинных вычислений, в 1859 году доктор Гоулд был уволен! Табличная машина была передана в Смитсоновский институт. Копия устройства была построена в конце 50-х годов XIX века британским журналом «Реджистер Дженерал». Машина Шютца не всегда функционировало правильно. Существование этой более простой версии машины Бэббиджа наводит на мысль о том, что отсутствие технологии не может являться единственной причиной неспособности Бэббиджа создать свои машины.