Осенью 1862 г. состоялось торжественное открытие Петербургской консерватории – первой русской консерватории. А. Г. Рубинштейн обратился к преподавателям, ученикам и музыкальной общественности со словами: «Будемте работать вместе, будем помогать друг другу, будем стараться дорогое для нас искусство поставить на ту высоту, на которой оно должно стоять у народа, столь богато одаренного способностями к музыкальному искусству; будемте неутомимыми служителями того искусства, которое возвышает душу и облагораживает человека» [4. Т. 1. С. 263].
Занятия в консерватории велись по следующим специальностям: теория музыки и композиция, фортепиано, оркестровые инструменты, вокал. Из современных музыкальных специальностей отсутствовали только обучение хоровому дирижированию (оно было сосредоточено в Синодальном училище в Москве и Придворной певческой капелле в Петербурге), а также обучение игре на народных инструментах, которым еще предстояло завоевать право войти в круг профессиональных музыкальных инструментов. Не велось также и обучение оперному и симфоническому дирижированию: оно еще не выделилось в область музыкальной деятельности с четко очерченным предметом.
Преподавательский состав Петербургской консерватории еще более пополнился по сравнению с Музыкальными классами: в ней в разные годы вели педагогическую деятельность такие музыканты, как известнейшая во всем мире пианистка, ученица Ф. Листа С. Ментер; крупнейшая пианистка России и одна из звезд мировой величины А. Есипова (ученица Т. Лешетицкого); Л. Брассен (ученик И.Мошелеса); скрипач Л. Ауэр, виолончелисты К. Давыдов и А. Вержбилович. В 1871 г. начал свою многолетнюю работу в Петербургской консерватории Н.А. Римский-Корсаков.
Для того чтобы поднять престиж звания «свободного художника», которое консерватория получила право присваивать оканчивающим, А. Г. Рубинштейн подал заявление о своем желании «держать экзамен на звание свободного художника» (Цит. по: [4. Т. 1. С. 263]) и представил свои сочинения. Специально созданная комиссия из профессоров консерватории и других петербургских музыкантов единодушно присвоила ему искомое звание. Таким образом, первый диплом об окончании Петербургской консерватории получил ее основатель.
Тем временем в Москве примеру своего старшего брата Антона Рубинштейна (или «петербургского» Рубинштейна, как его стали называть), следовал Николай Рубинштейн («московский» Рубинштейн). По его инициативе сразу вслед за созданием РМО открылось московское отделение этой организации, которое возглавил 24-летний Н.Г. Рубинштейн. Затем при московском отделении РМО были созданы Музыкальные классы, в которых прежде изучались элементарная теория музыки и хоровое пение, а затем начинались занятия по сольному пению и игре на музыкальных инструментах. Занятия проводились на квартире Н.Г. Рубинштейна. Уже тогда Николай Григорьевич начал приглашать на преподавательскую работу авторитетных музыкантов. Так, из Петербурга он пригласил известного композитора А. Н. Серова, который некоторое время вел занятия по теории музыки. Н.Г. Рубинштейну также принадлежала инициатива пригласить на должность профессора П.И. Чайковского, которого он сумел оценить задолго до создания композитором своих лучших сочинений. В 1866 г. П.И. Чайковский, один из первых выпускников Петербургской консерватории, стал одним из первых профессоров Московской.
Музыкальные классы с самого начала рассматривались как фундамент будущей консерватории, и 1 сентября 1866 г. Московская консерватория начала работу. Кроме П.И. Чайковского и Н.Г. Рубинштейна, занятия вели Г.А. Ларош, Н.А. Губерт и К.К. Альбрехт (теоретический курс), пианисты А. И. Дюбюк (ученик Дж. Фильда), А. Доор (ученик К. Черни), К. Клиндворт (ученик Ф. Листа). В младших фортепианных классах занятия вел Н.С. Зверев – ученик А. И. Дюбюка. Педагогами по классам скрипки и виолончели стали представители бельгийской, чешской, немецкой, австрийской школ Ф. Лауб, И. Гржимали, Б. Коссман, В. Фитценгаген. Сольное пение вели русские певцы А. Д. Александрова-Кочетова, В.Н. Кашперов и А. Р. Осберг, а также представитель итальянской оперной школы Дж. Гальвани. С певцами над дикцией работал крупнейший актер Малого театра С.В. Шумский. Через несколько лет преподавательскую деятельность начал один из лучших выпускников Московской консерватории С.И. Танеев.
В первые десятилетия своего существования консерватории, в отличие от современных высших учебных заведений, включали высшую, среднюю и даже часть начальной ступеней профессионального музыкального образования. Принимались в консерваторию чаще всего дети или подростки (за исключением вокала), имеющие первичную музыкальную подготовку. В консерватории, помимо музыкальных дисциплин, они получали необходимую общеобразовательную подготовку, где акцент делался на дисциплинах гуманитарного характера.