В 1892 г. назначен батальонным адъютантом в 1-ый понтонный батальон (1892–1894 гг.), расквартированный в с. Медведь Новгородской губернии.
В Новгородской губернии служил и дядя Антония Андреевича — Александр Иванович Веселовский (Штабс-капитан. Командир 16 роты 85 Выборгского полка (1879)), и брат Михаил Андреевич Веселовский — в Гренадёрском сапёрном батальоне (на 1884 г. командир роты Его Высочества) (записано в памятных книжках Новгородской губернии).
С 1994 года А.А. занимался педагогической деятельностью. Преподавал математику в кадетском корпусе г. Владикавказа, затем в кадетском корпусе г. Тифлиса (с декабря 1896 г.). "Я вполне сознательно занялся воспитанием военного юношества. Тщательно воспитанный офицер — воспитанный в духе здорового патриотизма, в служении Родине и глубоко развитом чувстве долга — это залог непобедимости армии. Конечно, техника — техникой, но суровое сознание своего долга — это великое дело. Я всегда старался воскресить рыцарские традиции в лучшем, благороднейшем смысле этого слова." Сохранилась воспоминания учеников кадетского корпуса (см. в конце книги), а в семейном архиве есть благодарственное письмо от отца одного из кадетов.
Был награжден орденами Святого Станислава 3-й степени (1892), Святой Анны 3-й степени (1897), Святого Станислава 2-й степени (1901), Святой Анны 2-й степени (1909), Святого Владимира 4 степени (1912).
Оставив Тифлисский кадетский корпус в 1904 году в чине подполковника, Антоний Андреевич вернулся к строевой службе. Командовал батальоном в 260-м пехотном резервном Ардаганском полку (65-я пехотная резервная бригада, 1903-1.01.1905): заведующий хозяйством (14.02.1905), временно командующий полком с 1.07.1906. С 1907 года командир 253-го Грозненского резервного батальона (64-я пехотная резервная бригада, 8.12.1907–5.07.1910). Место дислокации — г. Грозный (штаб) и слобода Шатой Терской области.
В 1909 году Российский воинский контингент был направлен в Персию для защиты русских и иностранных подданных, оказания помощи правительству и армии страны в их противостоянии с религиозными фанатиками и немецко-турецкой экспансией. Эти действия получили в истории названия «секретных Персидских экспедиций». В составе экпедиционного корпуса под командованием генерал-лейтенанта Н.Н. Баратова включили кавказские казачьи части. Также в состав корпуса был включён 253-й Грозненский резервный батальон. Экспедиционный корпус в Персии поддерживал правящую шиитскую династию в борьбе против турецко-немецких войск, а также различных бандформирований. Именно в Персии Антоний Андреевич получил первый боевой опыт ведения современной войны, в том числе и партизанской.
Антоний Андреевич пользовался в полку большим авторитетом, чему служит подтверждением подарок, который переправили бывшие сослуживцы А.А. в Россию из Персии на его имя уже после отъезда Антония Андреевича — полная обстановка для кабинета. Мебель была сделана из орехового дерева, покрытого превосходной резьбой. Все было выполнено по специальному заказу. Также прислали много ковров ручной работы, которыми были покрыты стены и пол кабинета.
За время службы в Тегеране был награжден орденом Святой Анны 3-й степени (1909).
5 июля 1910 году полковник А.А. Веселовский был назначен командиром Апшеронского полка, сменив на этой должности полковника Н.П. Кучина. С 1913 года генерал-майор ("за отличие по службе" со ст. 9.09.1913 (Выс. пр. 1913)). Полк был расквартирован во Владикавказе и во многом определял жизнь этого города.
О 81-м Апшеронском полке нужно сказать отдельно. Он был создан по специальному указу Петра I 09 июля 1724 года в крепости Святого Креста на основе частей, участвовавших в Персидском походе (Богуславский Л.А. История Апшеронского полка. 1700–1892. Т. 1–3. (1722–1839 г.г., 1839–1891 г.г. и приложения). — Спб, 1892).
Апшеронцы исходили всю Европу и Азию, и где только они не проливали свою кровь во славу Отечества. Ни один полк в России не имел столько наград — Георгиевское знамя, Георгиевские трубы, серебряные трубы и т. д. и т. д.
Погоны и эполеты Апшеронского полка.
При императрице Елизавете Апшеронцы покрыли себя неувядаемой славой в боях с Фридрихом Великим. Одно из сражений отличалось таким кровопролитием, что Апшеронцы вернулись с поля боя, в буквальном смысле слова, по колено в крови. Их белые чулки (форма тогдашней армии) превратились в красные. Императрица в виде высшей награды пожаловала Апшеронцам, в отличие от всей армии, красные чулки. Но когда армия при императоре Александре получила новую форму — сапоги, красные чулки исчезли.