В 1356 году Рудольф IV женился на Екатерине Люксембургской (1342— 1395), дочери императора Карла IV, но детей от этого брака у него не было. А 27 июля 1365 года Рудольф IV неожиданно умер в Милане в возрасте всего двадцати шести лет.
Ему наследовали его младшие братья Альбрехт III и Леопольд III.
Альбрехт III (1349— 1395) стал основателем так называемой Альбертинской линии Габсбургского дома. Он был третьим сыном Альберта II. А Леопольд III (1351—1386), его младший сын, стал основателем Леопольдинской линии Габсбургского дома. Произошло это после того, как они в 1379 году, в нарушение всех постановлений, заключили между собой договор о разделе наследственных владений. Альбрехт III получил собственно Австрийское герцогство, а Леопольд III стал правителем Штирии, Каринтии, Крайны, Истрии и Тироля.
Таким образом, владения Габсбургов были разделены между двумя наследниками, что положило начало периоду раздробленности в Австрийской монархии, продолжавшемуся почти столетие и сильно ослабившему позиции Габсбургов в Германии.
Леопольд III в 1386 году предпринял поход в швейцарские кантоны, но потерпел там жестокое поражение при Земпахе, где он сам был убит. Альбрехт III скончался в 1395 году, и место на троне занял его единственный сын Альбрехт IV.
Альбрехта IV (1377—1404) сменил его сын Альбрехт V (1397—1439), который стал первым Габсбургом, объединившим под своей властью Австрию, Чехию, Венгрию и Германию (королем Германии он стал 18 марта 1438 года под именем Альбрехта II). С тех пор, до самого падения Священной Римской империи в 1806 году, престол там постоянно (кроме короткого периода с 1742 по 1745 г.) занимали Габсбурги. Сам Альбрехт, однако, не пытался пройти официальную коронацию императором в Риме. Скорее всего, он просто не успел, так как неожиданно умер в военном лагере у Комарома в возрасте всего 42 лет.
Его единственный сын Ладислав (1440—1457) родился спустя четыре месяца после его смерти (его прозвище Постум в переводе с латыни значит «Посмертный») и стал последним представителем Альбертинской линии династии Габсбургов на троне Австрии, Венгрии и Чехии.
В 1457 году Ладислав начал подготовку к свадьбе, но в ноябре неожиданно заболел и спустя три дня скончался. Сразу же появились предположения об отравлении, однако современные исследования показали, что он был болен лейкемией, болезнью, неизвестной средневековым врачам.
Ладислав Постум не был женат и детей не имел. Его наследником в Австрии стал его двоюродный дядя Фридрих V, и страна вновь была объединена под властью одного монарха.
Фридриха V (1415—1493), ставшего королем Германии, императором Священной Римской империи, эрцгерцогом Австрийским, герцогом Штирии, Каринтии и Крайны, а также королем Венгрии (номинально), по праву можно назвать объединителем австрийских земель.
Он был был старшим сыном Эрнста Железного, герцога Внутренней Австрии, и Цимбурги Мазовецкой, дочери князя Плоцкого и Куявского. Уже в девять лет, после смерти отца, он унаследовал престолы герцогств Штирия, Каринтия и Крайна, а в 1440 году был избран немецкими курфюрстами королем Германии. В то же время он установил свою опеку над малолетним Ладиславом Постумом, герцогом Австрии, а после смерти последнего присоединил к своим владениям Австрию, объединив таким образом большую часть габсбургских земель (кроме Тироля).
В 1452 году Фридрих совершил путешествие в Италию и был коронован в Риме папой Николаем V. Это была последняя коронация германских императоров в Риме, что означало отказ от притязаний на Италию. Именно с этого времени империя получила свое новое официальное название — «Священная Римская империя германской нации».
Прекрасно осознавая всю эфемерность имперского титула, Фридрих стал добиваться усиления самостоятельности Австрии. В 1453 году он утвердил «Privilegium Maius» Рудольфа IV, подтвердив тем самым особое положение Австрии в империи и право австрийских монархов на титул эрцгерцога. В результате Австрия фактически была выделена из империи и поставлена рядом с ней.
До 1457 года Фридрих фактически держал в плену своего внучатого племянника Ладислава Постума, узурпировав на правах опекуна все его полномочия.
В том же 1457 году усилилось противостояние Фридриха с младшим братом Альбрехтом VI, претендовавшим на часть наследства Габсбургов. В 1461 году Фридрих был осажден собственным братом в Вене, и лишь после его смерти в 1463 году он стал единственным правителем Австрии.