17 сентября 1939 г. под командованием старшего лейтенанта А.И. Гурина «Гремящий» в паре с эсминцем «Сокрушительный» покинул Кронштадт и по Беломорско–Балтийскому каналу совершил переход в Полярный. 8 ноября 1939 г. он вошел в состав Северного флота.
Во время Советско–финской войны «Гремящий» неоднократно выполнял задания по несению дозорной и разведывательной службы, конвоированию транспортных судов.
22 июня 1941 г. встретил под командованием капитана 3–го ранга А.И. Гурина в составе отдельного дивизиона эсминцев в Полярном. На третий день после начала Великой Отечественной войны корабль вышел в первый поход — эскортировал два транспорта с войсками из Мурманска в Мотовский залив. 13 июля он, совместно с тремя эсминцами, выходил на перехват германских кораблей, разгромивших конвой, эскортируемый СКР «Пассат». 14 июля «Гремящий», совместно с эсминцами «Громкий» и «Стремительный», осуществлял прикрытие с моря высадку тактического десанта в губе Западная Лица.
26 августа в Баренцевом море, восточнее острова Кильдин, была атакована подводной лодкой врага плавбаза «Мария Ульянова», шедшая в охранении эсминцев «Урицкий» и «Куйбышев». Взрывом торпеды у судна оторвало корму. На помощь был послан «Гремящий» совместно с «Громким». Когда корабли подошли к плавбазе, которую на буксире вел «Урицкий», конвой был атакован фашистскими самолетами. Налет длился несколько часов, было сброшено свыше двухсот авиабомб, но из‑за интенсивного зенитного огня эсминцев ни одна не попала в плавбазу и корабли охранения. Метким огнем «Гремящий» сбил один «Юнкерс». Плавбаза была приведена в Териберку.
10, 11, 12 и 15 сентября «Гремящий» в составе отряда кораблей участвовал в постановке минных заграждений у берегов полуостровов Средний и Рыбачий, на подходах с моря к участкам берега, удобным для высадки вражеского десанта. Эсминец выставил всего 194 мины КБ.
18, 20 и 22 сентября «Гремящий» из Мотовского залива вел огонь по противнику, осуществляя поддержку приморского фланга 14–й армии.
24–25 ноября в составе англо–советского отряда боевых кораблей (английские крейсер «Кения», эсминцы «Бедуин» и «Интрепид», советские эсминцы «Гремящий» и «Громкий») участвовал в поиске противника в районе остров Вардё — мыс Нордкап. Не встретив противника, отряд обстрелял порт Вардё. «Гремящий» выпустил 87 130–мм снарядов. После открытия ответного огня вражескими береговыми батареями корабли легли на обратный курс, благополучно избежав попаданий. Отряд благополучно вернулся в Полярный.
С 24 по 28 января 1942 г. «Гремящий» участвовал в эскортировании конвоя QP–6, направлявшегося из Мурманска в Англию. Во время похода лопались трубки главного холодильника, поэтому пришлось поочередно выводить из действия котлы. Затем произошла авария турбины высокого давления. Вернувшись в базу, корабль 5 февраля встал на ремонт на 15 суток.
21 февраля 1942 г. «Гремящий» обстрелял позиции германских войск в районе губы Западная Лица, израсходовав 120 снарядов главного калибра.
С начала 1942 г. основной задачей эсминцев СФ становится эскортирование союзных конвоев. 22–23 февраля «Гремящий» выходил для встречи и проводки в Мурманск конвоя PQ–11, шедшего из Англии. 1–4 марта эсминец участвовал в проводке конвоя QP–8, вышедшего из Мурманска в Англию. 11–14 марта выходил для встречи конвоя PQ–12 и проводки его в Кольский залив, причем 14 марта ему пришлось форсировать сплошной лед.
21 марта эсминец вышел из Кольского залива, сопровождая конвой QP–9. Однако 23 марта в 4.00 в условиях плохой видимости и 8–балльного шторма потерял его и, проискав конвой весь день, возвратился в базу, при этом от ударов волн имел трещины в корпусе.
28 марта «Гремящий» совместно с «Сокрушительным», английскими эсминцем «Ориби» и четырьмя тральщиками вышел для встречи конвоя PQ–13. На следующий день в 6.21 корабли встретили конвой и вступили в его охранение. В 11.21 конвой был обстрелян немецкими эсминцами. Очень плохая видимость не позволила «Гремящему» принять участие в бою, только «Сокрушительный» успел сделать несколько залпов. 30 марта в 19.15 на Кильдинском плесе эсминец обнаружил рубку подводной лодки противника и сбросил на нее 12 глубинных бомб. После бомбометания на поверхности наблюдали плавающую пробку, куски дерева и бумагу. Немецкая лодка «U–435» получила повреждения, но сумела оторваться от преследования. Конвой прибыл в Кольский залив.
10–12 апреля эсминец обеспечивал выход конвоя QP–10 из Мурманска до меридиана 30°. 16–18 апреля он выходил в море для встречи конвоя PQ–14. 27 апреля в 15.50 из Кольского залива в Англию направился конвой QP–11. Для его эскортирования вышли «Гремящий» и «Сообразительный». В 22.40 из Кольского залива вслед конвою вышел английский крейсер «Эдинбург». 30 апреля в 17.20 «Эдинбург» был атакован подводной лодкой «U–456», у крейсера была разрушена корма. Советские эсминцы пришли на помощь поврежденному британскому кораблю, но 1 мая в 3.50 вынуждены были уйти в базу из‑за нехватки топлива. 2 мая, приняв топливо, в 8.10 они вновь вышли в море на помощь крейсеру «Эдинбург», но к этому времени тот уже погиб, и «Гремящий» вернулся в базу. 5 и 6 мая эсминец участвовал в эскортировании конвоя PQ–15.