В ноябре 1933 года, на пике своей ненависти к советскому официозу, Мандельштам пишет отчаянную поэтическую инвективу «Мы живем, под собою не чуя страны…», прямо направленную против Сталина, за которую его арестовывают и отправляют в ссылку в Воронеж (1934–1937).
Бо́льшая часть стихотворений, созданных в воронежский период, отразила стремление бесповоротно деформированного арестом и болезнями поэта выговориться сполна, сказать свое последнее слово. «В работе одновременно находилось по несколько вещей. Он часто просил меня записать – и это была первая запись, по два-три стихотворения сразу, которые он в уме довел до конца. Остановить его я не могла: «Пойми, иначе я не успею» (из мемуаров Н. Я. Мандельштам).
Поздний Мандельштам как поэт часто опускал логические звенья между соседними образами своих стихотворений, эти звенья иногда восстанавливаются только из черновиков. Также для него было характерно пристрастие к ключевым словам и ассоциативное мышление, что привело к сгущенной метафоричности большинства поэтических и прозаических текстов поэта. Если начинал он со стремления к структурной ясности и четкости, поздний Мандельштам во многом под влиянием Велимира Хлебникова пришел к созданию поэзии новых, никогда до него не существовавших смыслов, к нарушению многих языковых конвенций. Одним из ярких образцов такой поэзии стало самое длинное и самое трудное для читательского понимания поэтическое мандельштамовское произведение «Стихи о неизвестном солдате» (1937). Кроме того, в стихах Мандельштама, как и в творчестве Анны Ахматовой, особую роль играли скрытые цитаты из других авторов: обычно тексты, откуда эти цитаты брались, проясняли темные места в тех мандельштамовских стихах, куда эти цитаты включались. Вместилищем подобных цитат была для поэта вся европейская литература, что отразилось в его итоговом определении акмеизма как «тоски по мировой культуре».
В мае 1937 года Мандельштам получил разрешение выехать из Воронежа. Спустя год его арестовали вторично и отправили по этапу в лагерь, на Дальний Восток. 27 декабря 1938 года земной жизни поэта пришел конец. «В ноябре нас стали заедать породистые белые вши, – вспоминал лагерник Ю. Моисеенко. – Сыпной тиф проник, конечно, и к нам. Больных уводили, и больше мы их не видели. В конце декабря, за несколько дней до Нового года, нас утром повели в баню, на санобработку. Но воды там не было никакой. Велели раздеваться и сдавать одежду в жар-камеру. А затем перевели в другую половину помещения в одевалку, где было еще холодней. Пахло серой, дымом. В это время и упали, потеряв сознание, двое мужчин, совсем голые. К ним подбежали держиморды-бытовики. Вынули из кармана куски фанеры, шпагат, надели каждому из мертвецов бирки и на них написали фамилии: «Мандельштам Осип Эмильевич, ст. 58 (10), срок 10 лет»». Свидетельство Д. Маторина: «А дальше за дело принялись урки с клещами, меня они быстро выгнали. Прежде чем покойника похоронить, у них вырывали коронки, золотые зубы. Снимали с помощью мыла кольца, если кольца не поддавались, отрубали палец. У Мандельштама, я знаю, были золотые коронки… И только потом хоронили: в нательной рубахе, кальсонах, оборачивали простыней и отвозили на кладбище без гроба. На Второй Речке за первой зоной рыли траншеи – глубиной 50–70 см и рядами укладывали».