В Вооруженных Силах с 1965 года. После окончания училища в 1969–1971 годах служил в должности командира разведывательного взвода отдельной разведроты 7-й дивизии в Каунасе Литовской ССР. В 1971–1975 годах был командиром взвода (до 1972 г.), командиром роты курсантов Рязанского Высшего Воздушно-десантного командного училища. С 1975 по 1978 год — командир учебного парашютно-десантного батальона учебной воздушно-де-сантной дивизии. С 1978 года являлся слушателем Военной академии им. М. В. Фрунзе (академию окончил в 1981 г. с отличием), в 1988–1990 г.г. — Академии Генерального штаба Вооруженных Сил СССР.
С 1981 г. принимал участие в военных действиях в Афганистане: до 1982 года — заместитель командира, в 1982–1983 годах— командир отдельного 345-го парашютно-десантного полка 103-й гвардейской воздушно-де-сантной дивизии имени 60-летия СССР (в составе Ограниченного контингента советских войск в Афганистане).
За время службы выполнил 647 прыжков с парашютом, был 8 раз контужен и несколько раз ранен. 5 мая 1988 года за выполнение боевых задач при минимальных людских потерях генерал-майор Грачев был удостоен звания Героя Советского Союза (медаль «Золотая Звезда» № 11573).
С 30 декабря 1990 г. — командующий Воздушно-де-сантными войсками СССР. Во время ГКЧП Грачев выполнил приказ путчистов о введении войск в Москву, обеспечил прибытие в город 106-й Тульской десантной дивизии, взявшей под охрану стратегически важные объекты столицы. Действовал в соответствии с указаниями маршала Д. Язова. Но уже на второй день «путча» наладил контакты с российским руководством. По его приказу к Белому дому для его защиты были направлены находящиеся в распоряжении генерала А. Лебедя танки и личный состав. Впоследствии Грачев получил повышение и 23 августа 1991 г. согласно указу Б. Ельцина, пост председателя Государственного комитета РСФСР по оборонным вопросам.
С 18 мая 1992 — министр обороны Российской Федерации.
В марте 1993 года Грачев явно дал понять, что принял сторону президента.
3 октября вызвал в город войска, которые на следующий день после танкового обстрела штурмом взяли здание парламента.
20 ноября 1993 года Указом Президента назначен членом Совета Безопасности России.
30 ноября 1994 года указом Президента РФ был включен в Группу руководства действиями по разоружению бандформирований в Чечне. В декабре 1994 — январе
1995 из штаба в Моздоке лично руководил боевыми действиями российской армии в Чеченской Республике. После провала нескольких наступательных операций в Грозном вернулся в Москву.
Отправлен в отставку указом Президента от 17 июня
1996 года в результате предвыборной договоренности Б. Ельцина и А. Лебедя.
27 апреля 1998 года назначен главным военным советником генерального директора ФГУП «Росвооружение» — «Рособоронэкспорт». По сведениям прессы, Грачев имел отношение к незаконной продаже российского
вооружения (в том числе секретного) в Армению и Великобританию.
В 2000 году избран президентом Регионального общественного фонда содействия и помощи ВДВ «ВДВ — боевое братство».
2007 г. — уволен с военной службы.
Руководство спецсназа, «Альфы», заняло переговорную позицию. Всю коллегию они просидели с дипломатически нейтральными лицами. И молчали. И по их спокойному и достойному поведению стало ясно — терпеливо выслушав Ельцина и не противореча ему на словах, они просто не подчинятся его приказу. Приказ незаконного президента ничего не значит в сравнении с Конституцией. Заслуженные бойцы «Альфы» пришли на это закрытое ночное совещание во всех своих боевых наградах, в военной форме. Ельцин мельком взглянул на все эти награды, на значок с изображением летучей мыши, распростерший свои крылья над земным шаром — международный символ разведчика, — и отвел глаза в сторону. Ведь он никогда не служил в армии. Его освободили от воинской службы из-за нелепого увечья — в детстве Ельцин по мальчишеской глупости лишился пальцев на левой руке… Он, президент страны осознавал, что он им — не ровня… Он даже не ровня собственному заму, военному летчику Александру Руцкому, который дважды сбивался в своем истребителе ракетами, который был в афганском плену…
И без наград воины «Альфы» знали себе цену. В первую очередь — своим моральным принципам. Их реальная задача — попытаться провести переговоры, взять Белый дом без крови, без оружия в руках. Да, наверно, так и следует поступить. Они демонстративно положат автоматы перед зданием и пойдут на штурм с голыми руками…
Было очевидно — не подчинятся ельцинскому приказу и бойцы «Вымпела», эти бойцы элитной группы спецназа знают цену победы. Чтобы подготовить офицера «Вымпела», надо десять лет. Это были профессионалы разведки, способные проникнуть на территорию противника и в считаные часы блокировать особо охраняемый объект. Рассказать, как их тренировали? К примеру, отдавался приказ — проникнуть на территорию АЭС и блокировать руководство станции. Об этой операции предупреждали охрану — пусть попытаются противостоять «Вымпелу». И охрана (а это тоже профи) ничего не могла сделать. Каким образом без крови и единого выстрела «Вымпелу» удавалось брать под свой контроль атомную электростанцию, никто, кроме них самих, профессионалов «Вымпела», не знает…