Тем временем устрашенный Аббас-Мирза ушел за Араке. 2 июля Цицианов без помех стал обкладывать Эриванскую крепость. Она представляла собой два соединенных четырехугольника с башнями по углам, причем стены были двойными и перед каждой имелся ров, заполненный водой. Штурмующие должны были запастись двойным комплектом лестниц, поскольку первая стена была ниже второй, а взбираться на невысокую стену по высоким лестницам не очень удобно. С одной стороны крепость примыкала к реке, так что недостатка воды осажденные не испытывали. Когда первые ядра ударили в городские стены, хан выслал парламентеров, сообщив о готовности сдать крепость и попросив три дня на подготовку «кондиций» капитуляции. Однако в условленный срок никто с ключами от городских ворот не явился. Тогда Цицианов напомнил о своем присутствии коротким, но интенсивным обстрелом города. Тут же прибыли парламентеры и объявили, что хан готов подписать мир на русских условиях, но боится «буйной черни» и просит еще два дня, чтобы ее успокоить. Главнокомандующий согласился потерпеть. Но и через два дня он не дождался капитуляции и снова отдал приказ о бомбардировке. Представители хана вновь не замедлили прибыть и объяснили, что все было готово к сдаче, но духовенство выступило против соглашения с гяурами, и потому хану нужно еще два дня, чтобы подкупить наиболее влиятельных мулл. Цицианов рассвирепел и дал два часа, пообещав после этого взять город приступом, перебить всех защитников и казнить хана за его коварство. Здесь князь явно блефовал: выяснилось, что боеприпасов и провианта мало, а полевая артиллерия не в состоянии нанести серьезный ущерб древним, но очень прочным укреплениям Эривани. Вскоре стали ясны причины, по которым хан тянул время: на подмогу шло многочисленное войско во главе с самим Баба-ханом.
При осаде Эривани была выбрана следующая схема расположения войск. Конница, батальон Кавказского гренадерского полка и штаб Цицианова расположились с северной стороны в районе городского базара и караван-сарая. Этим участком командовал полковник Симанович. Влево от него позиции занял батальон Саратовского полка во главе с генерал-майором Портнягиным, героем штурма Гянджи. С восточной стороны подступы к Эривани (Кашгарское предместье) закрывали два батальона гренадер генерала Тучкова и Тифлисский полк генерала Леонтьева. С южной стороны сплошное заграждение устроить из-за недостатка войск не представлялось возможным, и потому здесь возвели редут на полторы роты. Командовал укреплением майор Саратовского пехотного полка Нольде. Поскольку Аббас-Мирза встал на реке Гарничай, между редутом Нольде и лагерем Тифлисского полка возвели на Мухалнетском бугре еще небольшой редант на 40 человек. Чтобы противник не мог просочиться через сады, окружавшие город, в них расположили 9-й егерский полк полковника Цехановского.
14 июля 1804 года Баба-хан прямо с марша без раздумий атаковал войска Цицианова. Русские попали в клещи: с одной стороны наступала шахская конница, с другой — совершил вылазку эриванский гарнизон, воодушевленный долгожданным «сикурсом». Персы напали ночью, чтобы уменьшить эффективность действий регулярных войск. Отчасти их расчет оправдался, темнота помешала наладить связь между отдельными частями осадного корпуса. В самом тяжелом положении оказался отряд майора Нольде. 56 солдат и офицеров в течение нескольких часов отбивали атаки трехтысячного войска. Сам бравый майор и его подчиненные — штабс-капитан Цыренев, поручики Кофтырев и Кубовский, прапорщик Рагер — «ободряли» солдат и сами вступали в рукопашные схватки с персами. Оборона этого редута представляет одну из героических страниц в истории российского оружия, подобно флешам Багратиона и курганной батарее Раевского. Так же отважно дрались защитники Мухалнетского реданта, несмотря на гибель своего командира поручика Мигданова. В критическую минуту сказался опыт полковника Цехановского. В кромешной темноте ситуацию можно было оценить только по звукам боя: размеренные пушечные выстрелы и дружные залпы ружей означали, что пехота без суеты отбивает натиск, а пушкари картечью охлаждают горячность врага; беспорядочная ружейная трескотня была уже тревожным сигналом: противник напирал, и солдаты палили, не дожидаясь команды; если же стрельба вдруг резко умолкала, бывалые солдаты крестились: началась резня, когда возиться с заряжанием уже не хватало времени. Именно это услышал Цехановский и повел своих егерей на выручку. Подойдя в темноте с тыла к наседавшим персам, он приказал ударить в штыки и кричать «ура» как можно громче. Опасаясь окружения и не ведая, что русских всего несколько десятков, противник бросился в бегство. В трудное положение попал и отрад Леонтьева. Сдерживая натиск персидской конницы, он «прислонился» к скале, но на нее вскарабкались вражеские стрелки и в считаные минуты уложили наповал восьмерых офицеров и 120 солдат. Чтобы очистить гору, был послан отряд поручика Лабынцева, известного впоследствии кавказского генерала. Он выгнал неприятельских стрелков, но понес такие потери, что не удержал позиции. Вторую попытку доверили прапорщику с «говорящей» фамилией Выскребенцев. Он действительно выскреб сарбазов из расщелин, где те укрывались, и спас свою часть от неминуемой гибели. Но патроны и вода кончались, а отойти от скалы Леонтьев не мог, так как в этом случае он подставил бы фланги и тыл под удар многочисленной кавалерии. Наконец раздались звуки барабанов — на подмогу пришел батальон саратовцев во главе с капитаном Кушелевым.