Наследником Альбрехта II стал один из самых необычных Габсбургов, живших и правивших в эпоху позднего средневековья. Старший сын Альбрехта Мудрого, вошедший в историю под именем Рудольфа Основателя, с юных лет отличался бешеным честолюбием. Он мечтал не только о дальнейшем расширении габсбургских владений, но и о возвращении своей семьи на первые роли в империи. Несколько раз, ссылаясь на некие древние традиции и якобы данные прежними императорами обещания, Рудольф присваивал себе титулы, на которые не имел ни малейшего права. Он пытался воссоздать древнее Швабское герцогство и стать его правителем, а когда это не удалось, объявил себя великим герцогом Австрийским — небольшая, но все же ступенька в иерархии титулов, приближавшая честолюбивого Габсбурга к королевскому достоинству.
Вершиной проделок Рудольфа стало «обнаружение» целой серии «древних» документов, в которых выдающиеся монархи прошлого, вплоть до Юлия Цезаря и Нерона, якобы предоставляли владельцам австрийских земель различные привилегии и всячески возвышали их между прочими своими подданными. Подлинность этих творений вызывала сильные сомнения уже у современников, в том числе у Карла IV, позднее же была доказана их несомненная подложность. Наиболее искусным образом был подделан действительно существовавший документ — рескрипт императора Фридриха Барбароссы, называвшийся Privilegium minus и датированный 1156 годом. В нем император повысил статус Восточной марки (Австрии), сделав ее герцогством. Фальсификат, получивший название Privilegium maius, представлял собой «исправленное и дополненное» распоряжение Барбароссы, на основании которого Рудольф и присвоил себе титул великого герцога.
Для своих подданных беспокойный и болезненно самолюбивый герцог был, однако, довольно неплохим правителем. Во всяком случае, жители Вены могут быть благодарны Рудольфу хотя бы за перестройку (фактически возведение заново) великолепного собора святого Стефана, одной из главных достопримечательностей австрийской столицы. Историческое же значение недолгого правления Рудольфа — он скончался в 1365 г., не дожив и до 26 лет, — заключается прежде всего в том, что он вновь во весь голос заявил о властных амбициях своей династии. В этом смысле герцога действительно можно считать одним из основателей габсбургского могущества. С фигурой — а точнее, лицом — Рудольфа Основателя связана и одна характерная особенность: на его надгробном изображении заметна деталь внешности, которая станет отличительной чертой очень многих членов династии, — знаменитая «габсбургская» нижняя губа, пухлая и оттопыренная, придающая лицу несколько надменное выражение.
Конец XIV — начало XV вв. стали для габсбургской Австрии периодом некоторого упадка. На первый взгляд, самое страшное было позади: после опустошительных эпидемий чумы и холеры на западе и в центре Европы возобновился рост населения, укрепились хозяйственные связи, бурно развивались города. Однако новые времена несли с собой новые социально-политические противоречия. Росло влияние городских слоев, все чаще конфликтовавших с монаршей властью; напротив, беднело и разорялось мелкое рыцарство, чьи представители пополняли наемные отряды искателей наживы и приключений, продававших свой меч тому из государей, кто готов был заплатить больше. Кроме того, вновь обострились отношения светских властей с римско-католической церковью. Претензии последней на высшую духовную и даже политическую власть в масштабах всей Европы были поколеблены церковным расколом («великой схизмой») 1378—1417 гг., во время которого на престол св. Петра претендовали одновременно два, а то и три папы. Все эти цолитические перипетии не обошли стороной и земли Габсбургов.
Упадок герцогской власти в Австрии был обусловлен не только вышеописанными факторами, но и междоусобицами среди членов самой династии. Многочисленные сыновья Альбрехта II стали основателями новых ветвей рода, отношения между которыми не были безоблачными. Младшие братья Рудольфа Основателя после долгих тяжб и споров разделили dominium Austriae на две части. Альбрехту III и его потомкам — так называемой линии Альбрехта — досталась собственно Австрия, Леопольду III и линии Леопольда — Штирия, Каринтия, Крайна, а также Тироль, присоединенный к габсбургским землям в 1363 г. Позднее, в 1382 г., сюзеренитет Габсбургов признал приморский город Триест, остававшийся под их властью до 1918 г. Кроме того, удалось (прежде всего усилиями воинственного и удачливого Леопольда III) подчинить австрийскому владычеству княжества Фельдкирх и Брейсгау. Все это наследство было непросто разделить между многочисленными дядями, племянниками, родными, двоюродными и троюродными братьями. Древнее феодальное право, предполагавшее выделение отдельных владений каждому из сыновей, вступало в противоречие с интересами династии в целом. Возникали споры и ссоры: так, в 1408 г. сторонники герцогов Эрнста и Леопольда, младших сыновей Леопольда III, организовали кровавые столкновения в Вене.