В 1854 году, под руководством профессора С. С. Куторги, он приступил к изучению связей между кристаллической формой и химическим составом различных веществ, в частности к изучению изоморфизма, что составило содержание его работы «Изоморфизм в связи с другими отношениями кристаллической формы к составу».
Окончив институт, Менделеев, как государственный стипендиат, был назначен старшим учителем гимназии в Симферополь, однако, из-за начавшейся Крымской войны гимназия в Симферополе закрылась. Некоторое время Менделеев преподавал в одной из Одесских гимназий, затем вернулся в Петербург. В 1856 году он защитил магистерскую диссертацию «Удельные объемы». А с 1857 года он начал преподавать в Петербургском университете.
В те годы учебника химии, который отвечал бы всем необходимым требованиям, не было. Готовясь к лекциям, Менделеев тщательно выписывал на специальные карточки свойства отдельных химических веществ, в том числе простых, которых тогда насчитывалось около шестидесяти. Это, вероятно, и стало первым подходом к стержневому признаку будущей системы. Распределив все известные к тому времени элементы в порядке возрастания их атомных весов, Менделеев обнаружил некую закономерную повторяемость физических и химических свойств элементов.
В 1859 году Менделеев был командирован за границу.
В Гейдельберге он работал в лабораториях Бунзена и Кирхгофа, а в 1860 году принял участие в знаменитом Международном конгрессе химиков в Карлсруэ. На конгрессе он услышал доклад итальянца Канниццаро, посвященный интерпретации известной молекулярной теории Авогадро. Возможно, именно этот доклад вновь заставил Менделеева вернуться к мысли о некоей связи между свойствами простых тел и атомными весами.
Из Парижа, где работали тогда такие крупные химики, как Дюма (родной брат знаменитого романиста), Варц, физик Беккерель, Менделеев вернулся в Гейдельберг. Несмотря на широкое общение с коллегами и веселые поездки с друзьями в Швейцарию и Италию, Менделеев провел в Гейдельберге важные исследования в области физической химии. В частности, он открыл существование критической температуры.
По возвращении в Россию Менделеев продолжил чтение лекций в Петербургском университете, закончил и опубликовал первый русский учебник органической химии. Кстати, эта его работа была удостоена Демидовской премии.
В 1864 году Менделеева избрали профессором Петербургского практического технологического института по кафедре химии, а в следующем году он защитил докторскую диссертацию «Рассуждение о соединении спирта с водою». Защита позволила Менделееву получить место ординарного профессора Петербургского университета по кафедре технической химии. В 1868 году он приступил к работе над «Основами химии», что привело его к открытию периодического закона химических элементов.
Первый вариант периодической таблицы Менделеев напечатал в виде отдельного листка под названием «Опыт системы элементов, основанный на их атомном весе и химическом сходстве». Этот листок в марте 1869 года Менделеев разослал многим русским и иностранным химикам. Что же касается специального сообщения об открытом Менделеевым соотношении между свойствами элементов и их атомными весами, то оно было сделано 6 марта 1869 года на заседании Русского химического общества профессором Н. А. Меншуткиным, – от имени Менделеева, который в тот день был болен. Профессор Меншуткин показал собравшимся членам Русского химического общества таблицу, на которой, сразу под названием «Опыт системы элементов, основанной на их атомных весе и химическом сходстве», столбиками располагались названия химических элементов и их химические веса. Судя по сохранившимся воспоминаниям, больше всего поразило присутствующих то сообщение, что теперь «…должно ожидать открытия еще многих неизвестных простых тел».
Летом 1871 года Менделеев подытожил исследования, связанные с установлением периодического закона, в труде «Периодическая законность для химических элементов».
До Менделеева ученые, занимавшиеся химической классификацией, обычно ограничивались тем, что объединяли в определенные группы сходные по химическим свойствам элементы, не указывая при этом никаких внутренних связей между группами. Менделеев, твердо убежденный в существовании некоего объективного закона, которому подчиняются все многообразные по свойствам элементы, пошел другим путем. Он начал искать в качестве характеристики элементов нечто материальное, отражающее все многообразие их свойств. Счастливо взяв в качестве такой характеристики атомный вес, Менделеев сопоставил известные в то время группы элементов по величине атомного веса и их членов. Написав группу галогенов под группой щелочных металлов и расположив под ними другие группы сходных элементов в порядке возрастания величины их атомных весов, Менделеев установил, что члены этих естественных групп образуют общий закономерный ряд. При этом химические свойства элементов, составляющих ряд, периодически повторяются.
При построении периодической системы элементов Менделееву пришлось преодолеть немалые трудности, так как некоторые элементы были в то время еще не открыты, а у некоторых были неправильно определены атомные веса. Например, Менделеев исправил атомный вес бериллия, поставив его не в одной группе с алюминием, как это делалось раньше, а в одной группе с магнием. Также он изменил значение атомных весов индия, тория, урана, церия и других элементов, руководствуясь свойствами этих элементов и их уточненным местом в периодической системе. Опираясь на выведенные им закономерности, Менделеев поместил теллур перед йодом, а кобальт перед никелем, хотя величины атомных весов этих элементов требовали, казалось, обратного расположения. И, в довершение к уже указанному, Менделеев указал на существование четырех еще не открытых элементов. Впервые в истории химии было предсказано существование неизвестных элементов и даже ориентировочно определены их атомные веса. В работах «Естественная система элементов и применение ее к указанию свойств неоткрытых элементов» и «Периодическая законность для химических элементов» Менделеев назвал предсказанным им элементы экабором, экасилицием и экаалюминием.
Правота научных предсказаний Менделеева скоро была подтверждена.
В 1875 году французский химик П. Лекок де Буабодран открыл элемент галлий, тождественный с экаалюминием. В 1879 году шведский химик Л. Нильсон нашел элемент скандий, полностью соответствующий описанному Менделеевым экабору. В 1886 году немецкий химик К. Винклер открыл германий, соответствующий экасилицию.
Впоследствии оправдались и другие важные предвидения Менделеева: были открыты указанные им тримарганец – рений, двицезий – франций, двибарий – радий и другие, а чуть позже установлено, что порядковый номер элемента в периодической системе Менделеева действительно имеет вполне реальный физический смысл и соответствует заряду атомного ядра и равному ему числу электронов в оболочке нейтрального атома.
Всю жизнь Менделеева чрезвычайно занимал вопрос: почему, собственно, периодическая система должна начинаться с водорода? Что мешает существованию неких элементов с атомным весом, меньше единицы?
Не имея возможности объяснить это, Менделеев в 1905 году в качестве «начального» элемента назвал мировой эфир. Он даже поместил его в нулевую группу над гелием и рассчитал атомный вес – 0,000001! Инертный газ со столь малым атомным весом должен был иметь, по мнению Менделеева, замечательное свойство всепроникаемости, а его упругие колебания вполне могли объяснить световые явления.
Менделеев ошибся, но это ничуть не умаляет его огромных заслуг перед наукой.
В 1876 году Менделеева избрали членом-корреспондентом Петербургской академии наук. А в 1880 году, после смерти академика Н. Н. Зинина, известные ученые Н. И. Кокшаров, Ф. В. Овсянников, П. Л. Чебышев и А. М. Бутлеров внесли предложение избрать Менделеева в экстраординарные академики. В поданной ими служебной записке были отмечены огромные заслуги ученого в области чистой и прикладной химии, а также указано на широкое признание его научных заслуг за границей. Однако кандидатура Менделеева встретила в Академии резкую оппозицию. В результате голосования создатель периодического закона химических элементов не получил большинства голосов (из 19 голосов только 9 избирательных). Вместо Менделеева в Академию был избран вполне посредственный химик Бейльштейн.