В конце мая 1833 года Казарский прибыл в Николаев с поручением провести ревизию Черноморского флота. В этом городе находился штаб флота. 2 июня Александр Иванович заболел, а 9-го слёг с диагнозом «воспаление лёгких». Все наличные медицинские силы Черноморского флота собрались у постели больного. Однако, окружённый попечением врачей, друзей и высших начальников, он 16 июня скоропостижно скончался 35-ти лет от роду. Похоронен Казарский там же, в Николаеве.
Внезапная смерть героя вызвала много разных сплетен, вплоть до версии об отравлении офицера некими анонимными «врагами русского флота». Вследствие дошедших до правительства слухов о насильственной смерти флигель-адъютанта Казарского по приказу царя была назначена следственная комиссия, которая спустя пять месяцев после смерти сделала заключение, что «покойный скончался от воспаления лёгких, сопровождавшегося впоследствии нервною горячкою».
Через полтора месяца после кончины Александра Ивановича начался сбор средств на памятник в Севастополе. Деньги, поступавшие по подписке, шли от морских офицеров, служивших на Чёрном и Балтийском, Белом и Охотском морях, с Камчатки и из многих других мест необъятного государства Российского. Это лучше всего говорило о том, как высоко оценили современники мужество Казарского.
Памятник был заложен в 1834 году, окончен в 1839. Стоит он на оконечности Матросского бульвара. Усечённая пирамида из белого инкерманского известняка, на которой установлен бронзовый пьедестал с барельефами античных богов — Нептуна, Ники, Меркурия, а также самого Казарского. На пьедестале стилизованная бронзовая модель античного военного корабля.
Памятник прост и лаконичен, надпись символична и полна глубокого смысла:
Парусный флот в живописи
