В отличие от точных наук, игра на рояле давалась Магомаеву куда более легко, и преподаватели в музыкальной школе прочили Муслиму большое будущее. Однако достичь высот в этой области ему тоже не удалось - не хватило усидчивости. В 14 лет Магомаев внезапно увлекся пением и только здесь почувствовал себя по-настоящему уверенно. Он поступил на вокальное отделение музыкального училища, а заодно брал уроки у замечательного педагога Сусанны Аркадьевны Микаэлян, преподавательницы Бакинской консерватории. По его же словам, перед дверью кабинета, в котором он обычно репетировал, собирались учителя и ученики и восторженно слушали его звонкое сопрано, которым он выводил и каватину Фигаро, и «Соловья» Алябьева, и Кармен.
Между тем в училище Магомаев прозанимался недолго - из-за разногласий с педагогом он ушел оттуда и стал довольствоваться частными уроками Сусанны Микаэлян. Когда с возрастом голос Магомаева стал меняться и из сопрано перешел в яркий баритональный бас, юноша оказался в вокальном кружке моряков при ансамбле песни и пляски Бакинского военного округа ПВО. Как гласит легенда, уже тогда Магомаев стал выступать на бакинских эстрадных площадках и каждое такое выступление собирало толпы восторженных слушателей.
В то же время Магомаев закончил экстерном консерваторию. Причем педагоги пошли ему навстречу и разрешили не сдавать «побочные» предметы: историю партии, диамат и т. д.
Звездный час Муслима Магомаева наступил в 1962 году, когда он выступил в Кремлевском Дворце съездов в рамках фестиваля азербайджанской культуры и исполнил песню «Бухенвальдский набат» и каватину Фигаро. Худой 19-летний юноша в пиджаке с короткими рукавами (этот пиджак у него тогда был единственным в гардеробе) произвел на слушателей неизгладимое впечатление. После этого триумфа Магомаева пригласили на стажировку в миланский театр «Ла Скала». После ее окончания Магомаев выступил в Большом театре и потряс слушателей своим итальянским бельканто. Тогда же ему было предложено перейти в труппу Большого театра, но он отказался. По его словам: «Не люблю, когда кто-то командует, что и как мне петь».
И все же постоянное место работы Магомаев тогда обрел: в 1963 году он стал солистом Азербайджанского театра оперы и балета имени М. Ф. Ахундова. Но несмотря на это, свою свободу не потерял - выступал в театре не часто, обычно выручал его, когда у того «горел» план. К тому времени Магомаев был уже очень популярным исполнителем эстрадных песен, собиравшим огромные залы, и его выступления приносили театру большую прибыль. Магомаев обычно давал концерты и все деньги за них оставлял театру.
Популярность Магомаева была связана прежде всего с песнями Арно Бабаджаняна, который в 60-е годы считался «королем шлягера». В исполнении Магомаева огромным успехом пользовались его песни: «Песня о Москве» (кстати, запрещенная Н. Хрущевым как твист), «Королева красоты», «Чертово колесо», «Свадьба», «Не спеши» и др. Выступая с таким «звездным» репертуаром, Магомаев довольно быстро превратился в Советском Союзе в «гастролера № 1» - певца, за обладание которым боролись все филармонии страны. Однако не всегда эти гастроли приносили певцу одно только удовлетворение, случались и неприятности. Об одном из таких случаев рассказывал Павел Леонидов, в 60-е годы известный в отечественной эстраде человек - поэт-песенник («Тополиный пух», «Школьный вальс», «Звезды России» и др. песни) и администратор.
Эта история произошла в середине 60-х. Леонидов решил организовать гастроли Магомаева в нескольких городах Союза: Ростове-на-Дону, Донецке, Краснодаре, Черновцах. При этом певцу было обещано за один сольный концерт на стадионе платить по 600 рублей (огромные деньги по тем временам). Магомаев согласился и с триумфом провел эти гастроли. Однако об этом стало известно чиновникам в Баку, и те немедленно телеграфировали в ЦК КПСС: «На каком основании Магомаев получает такие деньги?!» После этого за дело взялся заместитель министра культуры СССР Василий Кухарский. Он вызвал к себе Леонидова и Магомаева и устроил им настоящий разнос. «Это как изволите понимать? - кричал Кухарский на прибывших, не давая им опомниться. - Я, замминистра, получаю в месяц 700 рублей, а какой-то певец за один сольный концерт на сто рублей меньше! Вы что, охренели?! Да сам Шаляпин у царя столько не получал!»
Леонидов сделал попытку оправдаться, объяснив, что действовал согласно существующим правилам. «Вы же сами, Василий Феодосиевич, подписали приказ, что артисту, выступающему на стадионе, платить три ставки. Вот я взял и умножил двести на три. Получилось шестьсот рублей...»
Однако это объяснение еще больше распалило Кухарского (еще бы, ведь тогда выходило, что во всем виноват он сам), и он вынес свое суровое решение: Магомаеву в течение года запрещается концертировать по стране, ему разрешено петь только в составе труппы Бакинского театра оперы.