Скончался Леопольд I в 1326 году, а его брат Фридрих Красивый — в 1330 году.
После этого в Австрии и Штирии стал единолично править их брат Альбрехт II Мудрый (1298—1358).
Будучи женатым на Иоганне, наследнице эльзасского графства Пфирт, Альбрехт II присоединил эту область к владениям Габсбургов. В 1335 году, после смерти последнего представителя Горицко-Тирольской династии, в состав австрийских владений вошло и обширное герцогство Каринтия. Правда, Тироль из-за сопротивления местного дворянства присоединить не удалось: там воцарилась графиня Маргарита Маульташ.
После смерти Альбрехта II Мудрого герцогом Австрии, Штирии и Каринтии стал его старший сын Рудольф IV, родившийся в Вене 1 ноября 1339 года.
Отметим, что он был первым правителем из династии Габсбургов, рожденным в Австрии и считавшим своей родиной Австрию, а не родовые владения в Швабии и Швейцарии. Это, собственно, и способствовало росту его популярности и расширению социальной опоры герцогской власти в стране.
Рудольф IV унаследовал престол после смерти своего отца, в 1358 году. Хотя формально он считался лишь одним из соправителей, фактически же он единовластно управлял страной, поскольку его братья были еще совсем детьми.
Правление Рудольфа IV в Австрии было непродолжительным, однако очень важным для развития австрийской государственности и укрепления позиций государства на международной арене. Основными моментами политики Рудольфа были повышение статуса Австрии и борьба за ее независимость от Священной Римской империи. С самого начала правления герцога отношения Австрии и императора резко осложнились. В 1356 году Карл IV из Люксембургской династии издал знаменитую «Золотую буллу», установившую порядок избрания императора коллегией из семи курфюрстов (выборщиков). Австрия, равно как и Бавария, не была включена в число курфюршеств. В ответ Рудольф IV в 1358 году опубликовал так называемую «Большую Привилегию» (Privilegium Maius), то есть сборник указов предшествующих императоров, предоставлявших особые права Австрии и ее монархам, один из указов освобождал страну от налогов и прочих имперских обязанностей.
В частности, согласно «Большой Привилегии», австрийские монархи получили титул эрцгерцога, ставивший их в феодальной иерархии сразу за королями и курфюрстами, но выше остальных князей Германии. Кроме того, было заявлено, что единственным обязательством австрийских правителей по отношению к императору теперь будет выставление военного контингента в случае войны с Венгрией, а любое вмешательство императора в политику герцога будет незаконным. Австрийский монарх узурпировал также верховную судебную власть в своих владениях, а все земли Габсбургов были объявлены нераздельным доменом, передающимся как по мужской, так и по женской линии.
Некоторые считают документы «Большой Привилегии» фальшивками, однако их появление вполне наглядно отражало усиление влияния Австрии в Германии и ее стремление полностью освободиться из-под власти императора.
Естественно, обнародование «Большой Привилегии» вызвало крайне враждебную реакцию императора Карла IV. Он отказался признать подлинность документов, лишил Рудольфа IV прав имперского наместника в Эльзасе и титула герцога Швабии, а также поддержал выступления швейцарцев против Габсбургов. Императору удалось заставить Рудольфа IV отказаться от использования титула эрцгерцога, однако Карлу IV все же пришлось, во избежание вооруженного конфликта, устраниться от всякого вмешательства во внутренние дела Австрии. В результате Рудольф стал проводить полностью независимую политику в своих землях.
Отношения Австрии и императора нормализовались лишь к концу правления Рудольфа IV, что позволило в 1364 году подписать договор о взаимном наследовании между Габсбургами и Люксембургской династией.
В том же году, желая воспрепятствовать возможному разделу австрийских владений, Рудольф IV подписал договор со своими младшими братьями о том, что Австрийская монархия останется нераздельной и будет передаваться по наследству сразу всем детям монарха, причем старший будет считаться регентом. Это положение вошло в историю государственного права Австрии как «Рудольфово правило» (Rudolfmische Hausordnung), однако оно было нарушено уже его наследниками.
В правление Рудольфа IV был основан Венский университет, ставший очень скоро одним из крупнейших учебных заведений в Центральной Европе. При Рудольфе IV был перестроен и обрел свой нынешний архитектурный облик собор Святого Стефана в Вене. Он присоединил к Австрии Тирольское графство.