В послужном списке зафиксировано, что в 1855 году Бунин «Августа 7-го дня контужен импетом (взрывной волной) бомбы в правую половину головы с оглушением на правое ухо, сопровождающимся сильным шумом в голове и болью в правой стороне головы и в правом ухе. От контузии этой пользовался первоначально в Севастопольском военном госпитале, а потом при полку с исправлением должности».
29 сентября 1855 года Бунина за отличие произвели в юнкера, а 12 ноября 1855 года — в прапорщики.
5 ноября 1856 года Бунин был назначен исполнять должность полкового дежурного офицера, а 23 октября 1858 года его произвели в подпоручики. 31 октября 1858 года Бунин стал батальонным адъютантом и 2 июня 1861 года был произведен в поручики. 6 марта 1863 года его перевели в Белевский пехотный полк, где 26 ноября назначили батальонным адъютантом. 22 января 1864 года Бунина повысили до штабс-капитана и в тот же день сделали полковым адъютантом.
21 февраля 1865 года Бунин был «уволен для излечения болезни, происходящей от контузии, к Липецким минеральным водам». 14 июня 1865 года он стал капитаном, а 7 сентября — командиром роты. «По надобности зрения, проистекающей от контузии», Яков Иванович в начале 1866 года получил разрешение носить очки.
11 марта 1866 года Бунин сдал роту и был прикомандирован к управлению Тамбовского губернского воинского начальника членом делопроизводственной счетной комиссии. Его назначили кандидатом в плац-майоры или в плац-адъютанты. Как отмечалось в послужном списке, «Бунин при исполнении этих обязанностей оказал полное усердие и знание делопроизводства, а потому, хотя срок испытания не окончил, но по выказанным способностям, если бы пожелал продолжать службу, вполне заслуживал предложенную ему должность». Однако, не окончив испытания на должность плац-майора, 28 сентября 1866 года Бунин был «по болезни от контузии головы уволен от службы с чином майора с мундиром и пенсией одной трети получаемого жалования по 103 р. 95 к.».
Вскоре после выхода в отставку началась полицейская служба Якова Ивановича. По предложению Тамбовского губернатора, действительного статского советника Николая Мартыновича Гартинга Бунин 18 ноября 1867 года был назначен помощником Липецкого уездного исправника. 4 августа 1869 года его перевели на ту же должность в Кирсановский уезд. Этот перевод Якову Ивановичу почему-то не понравился, и 22 сентября 1869 года он вышел в отставку «по собственному прошению», но уже 25 ноября 1869 года был вновь принят на службу и определен помощником исправника в Борисоглебский уезд. 1 декабря 1871 года Бунин стал исправлять должность Спасского уездного начальника.
10 апреля Бунин был назначен Борисоглебским уездным начальником, а 3 мая 1874 года ему была выказана «искренняя признательность за отличную распорядительность, оказанную при проезде и пребывании в г. Борисоглебске Его Высочества великого князя Николая Николаевича Старшего». 15 августа он был назначен членом Борисоглебского училищного Совета от МВД.
8 февраля 1875 года Бунин в очередной раз был уволен в отставку «в связи с избранием и утверждением членом Борисоглебского уездного по крестьянским делам присутствия». На государственную службу он вернулся 15 июня 1876 года, когда был назначен директором Борисоглебского тюремного отделения. 20 января 1878 года, отработав трехлетний срок, Бунин ушел из присутствия по крестьянским делам, не изъявив желания баллотироваться на новый срок, а 26 января 1878 года по болезни покинул Борисоглебский училищный совет.
28 декабря 1878 года Бунин был назначен Бердичевским уездным исправником в Киевской губернии. С точки зрения взяток, это была гораздо более хлебная должность, чем аналогичные в уездах Тамбовской губернии. Бердичев входил в черту оседлости, и его многочисленное еврейское население, занимавшееся торгово-промышленной деятельностью, было источником полицейских поборов за то, что полицейские чины закрывали глаза на нарушение предписанных евреям ограничительных правил. 6 января 1881 года Яков Иванович стал почетным членом Киевского губернского попечительства детских приютов. Это косвенно может указывать на наличие у него неких достаточных средств, которые он жертвовал на приюты. Позднее в Одессе он был бессменным председателем Распорядительного комитета приюта Одесского общества призрения нищих, и благодаря его стараниям приют значительно расширил свою деятельность и охватывал призрением более трехсот нищих и бездомных ежесуточно.
Настоящий карьерный взлет произошел у Бунина в 1882 году. 13 марта 1882 года он опять ушел в отставку, будучи избран Уманским уездным предводителем дворянства и председателем Уманско-Звенигородского съезда мировых посредников. Вполне возможно, что это был всего лишь бюрократический прием, поскольку уже 6 мая 1882 года Бунин стал Одесским полицеймейстером. Не исключено, что вопрос о его назначении был решен еще в марте, и его сделали предводителем дворянства лишь для того, чтобы не назначать полицеймейстера Одессы из бердичевских исправников, что показывало бы огромный разрыв в уровне должностей.
В мае 1884 года чин майора был упразднен, и Бунин в первоочередном порядке был переименован в подполковники, хотя, как служащий по гражданской части, первоочередному переименованию не подлежал. Два следующих чина он также получил вне правил. Он имел только благодарности и награды и ни одного взыскания.
В послужном списке от 12 февраля 1889 года отмечалось, что Бунин женат на дочери майора Перемежко-Галича Александре Александровне. Перемежко-Галичи — это малороссийский дворянский род из Черниговской губернии. Отец жены Бунина, Александр Ефимович, в 1849 году вынужден был продать свое имение в с. Федотьево Спасского уезда брату Павлу. Вероятно, он разорился. В послужном списке 1889 года отмечалось, что Бунин «имеет детей родившихся дочь Марию 2 марта 1872 года, сына Алексея 28 января 1874 года, дочь Надежду 26 января 1875 года, сына Александра 22 апреля 1876 года и сына Бориса 20 января 1878 года, из коих дочь Мария в Одесском институте, сын Алексей и Борис в Полтавском кадетском корпусе, сын Александр в Ришельевской гимназии и дочь Надежда в Мариинской женской гимназии. Жена и дети вероисповедания православного».
Интересно, что в более раннем послужном списке октября 1884 года упоминался еще сын Иван, родившийся 27 января 1871 года, причем отмечалось, что «жена и дети… находятся при нем, кроме старшего Ивана, воспитывающегося в Киевской военной гимназии». Однако в еще более раннем послужном списке от 15 мая 1882 года Ивана Бунина нет, хотя остальные дети присутствуют. Возможно, в этом списке есть только те дети, которые находились вместе с Буниным. Но ни в одном из более поздних послужных списков, 1887 и 1889 годов, Ивана Бунина уже нет, хотя в нем присутствуют дети, которые уже не жили с родителями. Можно предположить, что Иван Бунин либо умер в промежутке между 1884 и 1887 годами, либо отец по какой-то причине потерял с ним связь.
По дате рождения первого сына можно предположить, что Бунин вступил в брак в 1869 или в 1870 году.
23 января 1887 года министр народного просвещения граф Иван Давыдович Делянов сообщал в Департамент полиции, что «Одесский полицеймейстер полковник Яков Бунин всегда оказывал и оказывает весьма деятельное содействие Университетской и училищной инспекции по надзору за учащимися вне стен учебных заведений и что благодаря его уменью и распорядительности, деятельность Инспекции по внешнему надзору за учащимися значительно облегчилась, так как распоряжения Г. Бунина и указания его подведомственным ему чинам полиции, в случаях отношений последних к учащимся, всегда отличались, вполне правильною, с точки зрения воспитательной, и гуманною постановкою дела… Деятельность полковника Бунина всегда способствовала к предупреждению и прекращению недоразумений и уклонений со стороны учащихся от обязательных правил поведения вне стен учебных заведений».
23 апреля 1888 года на Бунина поступил анонимный донос. Вот его текст:
«Весьма секретно. Прошу доверять.
В какое ужасное положение поставлены вообще столичные полиции и в особенности одесская полиция. Где охрана? И где правда? Вследствие гнусного взяточничества, разных претензий и желаний, в глазах всех унижена полиция, а чрез это все беспорядок и угнетение проходит выше и дальше!? Может ли быть хороший полицеймейстер, служивший как Бунин по протекции высокопоставленного лица и в такие короткие сроки наживший состояние в 500 000 р., кроме всех поборов, где адресные суммы? Где канцелярские суммы? Где остатки от обмундирования команд? Где многие и многие другие капиталы полиции одесской? — все в карманах Бунина и его секретаря Сорочана, самого утонченного взяточника. Это два бесконтрольные деспота, кунака, обиралы. Градоначальник Зеленый и правитель его Дмитренко, они прекрасные высокоблагороднейшие люди, и они не в силах проникнуть в эти утонченные хитрости, мошеннические сделки полиции. Нужно присмотреться, как бедные служащие писцы трудятся по участковым управлениям за 25 р. в месяц, закон усматривает, что недолжно истязать рабочих, но эти несчастные истязаются, несут день и ночь непомерный труд, а тузы полиции отпускаемыми деньгами городом и казною на усиление покупают имения в 300 000 р. под прикрытием благочестия и великой протекции.