sięgnie po koronę polską i uznał, ze dobrze będzie zainwestować w ziemie ewentualnie zrekonstruowanego królestwa. W 1822 roku należała do niego już spora część Żywiecczyzny, zasłynął jako bardzo dobry gospodarz.
Spadkobiercą Wetlina był jego adoptowany syn Karol Ludwik Habsburg, syn cesarza Leopolda II. Nowy właściciel kontynuował zakupy.
Podobnie robił jego syn Albrecht Fryderyk, który rozszerzył swój majątek aż po północne stoki Babiej Góry. arcyksiążę Albrecht Fryderyk Habsburg założył w Żywcu zakłady piwowarskie zachęcony sukcesem i dochodami, jakie przyniósł mu założony nieco wcześniej browar w Cieszynie. Albrecht Fryderyk, w roku 1847 utworzył w Żywcu dyrekcję dóbr, która stała się wielkim i bardzo dobrze prosperującym centrum administracyjnym. Arcyksiążę wybudował w Żywcu zakład metalurgiczny i postawił browar, przyczynił się do połączenia Żywca ze światem koleją, wyremontował stary zamek i zaczął budować nowy. Z lasów babiogórskich powstał Babiogórski Park Narodowy, a zakład leczniczy w Rajczy ciągle służy chorym.
Dziedzicem Albrechta Fryderyka był jego bratanek, arcyksiążę Karol Stefan Habsburg. Pierwszym Habsburgiem, który na stałe zamieszkał w Żywcu był arcyksiążę Karol Stefan. Amatorsko uprawiał malarstwo, grywał na fortepianie, sam wykonywał utwory Chopina, którego bardzo cenił. Arcyksiążę Karol Stefan był miłośnikiem sztuki, za jego sprawą powstał na zamku zbiór obrazów malarzy polskich i europejskich. Pracował dla niego m.in. Wojciech Kossak.
Arcyksiążę Karol Stefan popierał artystów, malarzy i był znanym melomanem. W swojej znakomitej kolekcji posiadał obrazy Kossaka, Wyspiańskiego, Pochwalskiego, Wyczółkowskiego, Fałata, Malczewskiego, Mehoffera.
Wojciech Kossak ur. 31 grudnia 1857 w Paryżu - zm. 29 lipca 1942 w Krakowie. Polski malarz. Współtwórca kilku panoram, m.in. Panoramy Racławickiej. Dzieci Wojciecha to: Jerzy Kossak, Maria Pawlikowska-Jasnorzewska - poetka i Magdalena Samozwaniec – pisarka.
Słynna była też kolekcja sreber o wadze około 500 kg zgromadzona na zamku, wywieziona w czasie wojny przez Niemców. Zbudował żywiecki „Sokół” (obecnie MCK), nauczył się języka polskiego i posługiwał się nim w podróżach zagranicznych. Chciał zostać królem Polski, ale Polska odrodziła się w kształcie republikańskim. Za czasów księcia Karola Stefana Habsburga, zmodernizowany browar produkował piwa konkurujące z powodzeniem z najsłynniejszymi produktami europejskimi. Pod koniec I wojny światowej w jego posiadaniu było 53.263 ha terenu. Karol Stefan Habsburg wspierał różne inicjatywy społeczne, kulturalne, oświatowe, religijne. W 1924r. podarował Polskiej Akademii Umiejętności tereny o łącznej powierzchni 5.728ha, a potem dołożył do tego 6.795ha lasów babiogórskich. W 1925r. oddał w ręce Skarbu Państwa na cele sanatoryjne letnią rezydencję w Rajczy.
Karol Stefan Habsburg miał 2 córki – Renatę i Mechtyldę. Renata wyszła za Radziwiłła i urodziła mu 3 synów: Dominika, Karola i Leona, a Mechtylda wyszła za mąż za Czartoryskiego.
Renata Habsburżanka została Hieronimową Radziwiłłową. Nie było to pierwsze małżeństwo habsburgsko-radziwiłłowskie w historii, ale to zasługuje na uwagę z trzech względów. Po pierwsze, żywiecka linia arcyksiążąt tym mocniej wiązała się z Polską, po drugie, wesele było huczne i dla Żywca pamiętne, po trzecie pan młody wywodził się z tych Radziwiłłów, którzy z historią Śląska mieli co nieco wspólnego.
Karola Stefana Habsburg miał też 2 synów: Karola Olbrachta i Leona Karola Habsburga.
Nowym gospodarzem został arcyksiążę Karol Olbracht Austriacki, syn arcyksięcia Karola Stefana Habsburga, który zmarł w 1933r. i Marii Teresy von Österreich-Toskana.
W 1933r. Karol Stefan Habsburg zmarł, a fortunę odziedziczył po nim Karol Olbracht. W 1918, czując się Polakiem, zgłosił się ochotniczo do Wojska Polskiego. W stopniu pułkownika został mianowany dowódcą 16 Brygady Artylerii 16 Pomorskiej Dywizji Piechoty. Był również dowódcą twierdzy Grudziądz. Walczył w wojnie polsko-rosyjskiej w 1920, za co został odznaczony przez Józefa Piłsudskiego Krzyżem Walecznych, a później Orderem Odrodzenia Polski. W okresie 20-lecia międzywojennego administrował swoim majątkiem. Po zajęciu przez Niemców Żywiecczyzny w 1939r. Habsburgowie zostali wyrzuceni z zamku. W czasie II wojny światowej Niemcy zmienili markę piwa Żywiec na "Beskidenbrauerei Saybush". W 1939 ponownie zgłosił się do Wojska Polskiego, lecz nie został przyjęty. Po kampanii wrześniowej wrócił do Żywca. W listopadzie 1939 został przez Niemców aresztowany i uwięziony w cieszyńskim więzieniu (byłą tam siedziba Gestapo). Stanowczo odmówił podpisania niemieckiej listy narodowościowej (volkslisty). Jego majątek trafił pod przymusowy zarząd III Rzeszy, jego żona Alicja Ankarcrona (z pochodzenia Szwedka, wdowa po hr. Kazimierzu Badenim) została zaś internowana w Wiśle w 1940r. Utrzymywała tam kontakty najpierw z ZWZ, a potem z AK, za co została odznaczona Krzyżem Walecznych. Nasłuchiwała nocami rozgłośni radiowych pod groźbą kary śmierci i informowała ZWZ i AK co się w świecie dzieje.
Arcyksiężna cały czas starała się uwolnić swojego męża z rąk Gestapo. Wypuszczono Karola Olbrachta Habsburga z więzienia w 1941r. , w 42r. Niemcy wywieźli ich w głąb Rzeszy, a w kwietniu 45r. wyzwolili ich Amerykanie. Po latach Alicja Ankarcrona została odznaczona przez generała Bór – Komorowskiego Krzyżem Walecznych. Karol Olbracht Habsburg zamieszkał po wojnie w Krakowie. W 1946, bardzo schorowany, został przewieziony przez żonę do Szwecji, gdzie oboje zmarli i zostali pochowani. Karol Olbracht zmarł 17 marca 1951 w Östervik koło Sztokholmu, a jego małżonka w 1985r. Najciekawszym zjawiskiem była polonizacja właścicieli żywieckiego majątku.
Jedna z ich córek – urodzona w Żywcu w 1923r. księżniczka Maria Krystyna von Habsburg ze względu na pochodzenie z morganatycznego związku nie posiada prawa do dziedziczenia tronów Habsburgów, nie mając także prawa do zwyczajowych dla Habsburgów tytułów arcyksiążąt cesarskich i książąt królewskich. Na mocy rodzinnego postanowienia jest arystokratką z tytułem księżnej von Altenburg. Maria Krystyna Habsburg razem z najbliższą rodziną została zmuszona przez władze komunistyczne do wyjazdu z Polski po II wojnie światowej. Kilka lat mieszkała w Szwecji (ojczyźnie matki), później zaś w Szwajcarii w Davos. W 1993 odzyskała polskie obywatelstwo (wcześniej była bezpaństwowcem) i wróciła na stałe do Polski. W 2002 roku powróciła do Żywca i zamieszkała w swoim rodzinnym domu w Nowym Zamku, gdyż władze przygotowały jej apartament. Dzięki decyzji premiera dostaje teraz skromna emeryturę. Ma obecnie 84 lata.
Syn Karola Olbrachta Austriackiego i Alicji Ankarcrony - Karol Stefan Habsburg - Lotaryński ur. 29 października 1921, w podkrakowskich Balicach, zawarł w imieniu rodziny w grudniu 2005 ugodę z Browarem Żywiec w sporze o prawo do używania herbu rodzinnego Habsburgów. Mieszka w majątku Östervik koło Sztokholmu.
