Солдат рекрутировали частично на добровольной основе, частично — на основе военного призыва, для которого использовались списки работников, подлежавших обложению налогом capitatio-iugatio, хотя для формирования мобильных частей начиная с VI в. основным стал добровольный принцип. Мобильные полевые армии дополнялись местными войсками, куда, помимо пограничников-лимитанеев, входили подразделения, располагавшиеся в провинциях, чреватых внутренними смутами (например, таких, в которых был распространен разбой). Эти части также находились под началом региональных командующих. На 560 г. насчитывалось 25 таких частей, в основном в приграничных районах.
Такой двухуровневый порядок родился после кризиса III столетия, и он более или менее отвечал задачам обороны империи вплоть до окончания войны 602–626 гг. с персидским Сасанидским царством. Однако он не смог противостоять исламскому завоеванию, вызвавшему потерю восточных провинций вместе со всеми их ресурсами в 634–642 гг. Правительство отреагировало на это отводом в период после 637–640 гг. мобильных войск в глубь страны, прежде всего в западную и центральную Малую Азию. Там эти войска расквартировывали в различных районах, так что провинции, занятые той или иной армией, получали наименование по этой армии. Группы провинций постепенно превратились в военные округа, или фемы (themata), полевые армии — в войска типа ополчения, и в каждом таком войске существовало ядро профессиональных командиров, чья служба оплачивалась за счет центра или провинций. Во главе фем стояли военачальники — стратиги, которым к концу IX в. были подчинены также фискальные чиновники этих округов. Впоследствии фемы получили чисто географические названия. Гражданская администрация, первоначально частично подчиненная военной, постепенно реформировалась, и обе власти были приведены в равновесие. Различия между полевыми и пограничными войсками постепенно исчезли.
После 640 года возникли также серьезные проблемы со снабжением и содержанием войск. Еще до арабского завоевания восточных земель в империи не хватало наличных денег на жалованье армии, а позднее эта ситуация ухудшилась. Налоги в районах, где стояли войска, взимались преимущественно в натуральной форме, чтобы можно было скорее содержать войска, чем платить военным жалованье. Этот процесс и привел к превращению армий в своего рода ополчения, причем местные округа соперничали с другими фемами в борьбе за императорскую милость. Кроме того, вероятно, с конца VII в. восстанавливается наследственный институт для отдельных категорий рекрутов. Наряду с этим от профессиональных военных, владевших землей, в ряде случаев стали требовать, чтобы они сами обеспечивали себя частью оружия и необходимого снаряжения, для чего им предоставлялись определенные налоговые льготы. В результате к X столетию сложилась привилегированная категория военного землевладения, которую государство рассматривало как основу комплектования провинциальных армий. Начиная примерно с конца VIII в. и далее вооруженные силы империи комплектовались из нескольких различных категорий новобранцев: профессиональных военнослужащих, составлявших ядро войск в фемах, ополченцев, составлявших основную массу этих войск, имперских гвардейских частей в столичном регионе и иностранных наемников (хазар, курдов, турок и др.). В тот же период произошла и реорганизация военного флота Византии. Было создано несколько региональных флотилий для защиты побережий, поскольку с середины VII в. арабские военные корабли превратились в серьезную угрозу империи.