Вмешательство семьи Фудзивара спасло императорский дом также и в середине VIII века (Нара дзидай), когда обострилась борьба за власть между императором, аристократическими родами и буддийской церковью. Хотя формальным главой страны остался император, его реальное политическое влияние уменьшалось, а власть аристократов и буддийских монастырей росла. Последние в лице фаворита правящей императрицы Кокэн-Сётоку монаха Докё пытались даже организовать заговор и сместить правящую династию. Однако династический переворот был подавлен Фудзивара.
В XII в. императорская власть (и власть Фудзивара) в Японии сильно ослабела и в конце столетия ее оспаривали друг у друга два рода: Тайра и Минамото. С 1156-го по 1184 г. страной фактически правил род Тайра. В частности, большая часть министров была именно из этого рода.
В 1184 году решительный перевес оказался на стороне клана Минамото, один из представителей которого, Минамото Ёсинака, вступил во главе многочисленной армии в Киото, тогдашнюю столицу Японии, откуда клан Тайра бежал с остатками своих приверженцев на юг. Тогда фактическая власть над страной почти оказалась в руках рода Минамото и лично Минамото Ёсинака, у которого была собственная сильная армия. Де-факто Ёсинака был полным хозяином своего войска, но де-юре он все же был самозванцем, полномочия которого не были санкционированы императором. Поэтому в том же 1184 г. Ёсинака добился того, что император пожаловал ему титул сэйи-тайсёгун. К тому времени это звание имело лишь номинальное отношение к походам против эдзо, которых, между прочим, было немало в армии того же Ёсинака. Дело было в другом. Походы против эдзо были связаны с громадным напряжением ресурсов государства и зачастую требовали сбора всей наличной военной силы страны, собирателем и распорядителем которой и становился сэйи-тайсёгун. Став сэйи-тайсёгуном, Ёсинака монополизировал право собирать войска и распоряжаться ими и тем самым исключил возможность появления в стране равного ему по силе противника.
Тем не менее его двоюродный брат Минамото Ёритомо сумел собрать собственную, преданную ему армию, с помощью которой он уничтожил Ёсинака. Затем он покончил с остатками клана Тайра и предпринял поход против областей Муцу и Дэва, населенных уже замиренными эдзо, но еще пользующимися некоторой самостоятельностью. После этого Ёритомо стал единоличным фактическим правителем всей страны. Однако и ему, чтобы не выглядеть самозванцем, необходима была санкция императора, поэтому Ёритомо потребовал и в 1192 г. получил звание сэйи-тайсёгун, предлогом для чего и мог служить его поход против областей, населенных преимущественно эдзо. С этого времени звание сэйи-тайсёгуна (или просто сегуна) из временного военного звания превратилось в постоянный и притом передаваемый по наследству титул фактического военного правителя страны.
Таким образом, начиная с основания сёгуната в 1192 г. и до его падения в 1867 г. (то есть в течение почти семи столетий) титул сэйи-тайсёгун был наследственно-родовым, хотя формально и жаловался всегда императором. Четкого порядка наследования титула не существовало – обычно сёгун назначал преемника из числа своих сыновей, если же их не было, то усыновлял одного из представителей других ветвей рода. В поздний период многие сегуны начинали управлять страной, будучи еще детьми, их роль стала символической, схожей с ролью западно-европейских монархов. Принципиальным отличием сегуна от императора было отсутствие сакральной составляющей, сёгун считался главой администрации и хранителем государства, но не воплощением богов на земле. За семь веков существования титула сэйи-тайсёгун его носителями были несколько кланов:
Камакурский сёгунат – Камакура бакуфу (1192–1333)
Клан Минамото – 1192–1210 гг., 3 сегуна
Клан Фудзивара – 1226–1252 гг., 2 сегуна
Императорские принцы (синно) – 1252–1333 гг., 4 сегуна
Киотский сёгунат – Муромати бакуфу (1338–1573)
Клан Асикага – 1338–1573 гг., 16 сегунов
Эдоский сёгунат – Эдо бакуфу (1603–1867)