Syn Andrzeja Poniatowskiego, marszałka-lejtnanta (generała dywizji) w służbie austriackiej i Teresy z książąt Kinskich[2], rodu czesko-austriackiego. Urodził się w pałacu Kinskich[a] przy Freyung 4[b] w Wiedniu. Wychowany w niemieckojęzycznych środowiskach Wiednia i Pragi, stał się Polakiem z wyboru; dzięki opiece stryja, Stanisława Augusta Poniatowskiego (z którym był blisko związany aż do śmierci króla), uniknął wynarodowienia. Matka była damą dworu Marii Teresy, a sama cesarzowa została matką chrzestną starszej siostry Józefa, której na cześć władczyni dano imiona Maria Teresa. W kosmopolitycznym świecie przedrewolucyjnej arystokracji z własną matką rozmawiał po francusku, a z rodziną ojca i służbą po polsku – tymi językami posługiwał się swobodnie, jak i niemieckim. Już jako młodzieniec spędzał sporo czasu w Warszawie ze stryjem królem Stanisławem, którego potem reprezentował oficjalnie na pogrzebie Marii Teresy[3]. Ze Stanisławem Augustem i biskupem-historykiem Adamem Naruszewiczem odbył w roku 1787 podróż do Kaniowa, gdzie król przez miesiąc czekał na bezowocne spotkanie z carycą Katarzyną II[4].

Młody Józef (zgodnie z własnymi predylekcjami) od dziecka szkolony był z myślą o służbie wojskowej, chociaż książę Pepi (jak go nazywano) uczył się również np. gry na instrumentach klawiszowych – przenośny instrument towarzyszył mu nawet w czasie wypraw wojennych. Jak ojciec (który umarł, gdy Józef miał 10 lat), wstąpił do wojska austriackiego, gdzie w 1780 został porucznikiem, a w 1788 doszedł do stopnia pułkownika i został adiutantemcesarza Józefa II. W 1786 został kawalerem Orderu Świętego Stanisława[5]. W 1788 walczył w wojnie austriacko-tureckiej. 24 kwietnia został poważnie ranny prowadząc szturm twierdzy Šabac w Serbii. Pod Šabacem Poniatowski ocalił też życie o kilka lat młodszemu koledze, księciu Karolowi Filipowi Schwarzenbergowi, przyszłemu pogromcy Napoleona w bitwie pod Lipskiem.