Konzulát sídlí v posledním patře zrekonstruovaného Paláce Jalta, který byl postaven podle návrhu stavitele Jaroslava Polívky v roce 1929.
Dům s byty, obchodní pasáží a suterénním kinem měl (a má) pět pater a v členění jeho průčelí se projevuje jeho multifunkční využití. Výkladce přízemí byly v třicátých letech 20. století stejně jako prostory pasáže určeny ke komerčním účelům, v 1. a 2. se nacházely kancelářské prostory a nejvyšší patra plnila funkci obytnou. Po rekonstrukci Paláce Jalta dokončené v roce 2019 se v 5. patře nachází mimo jiné kanceláře a terasa Rakouského honorárního konzulátu s výhledem na Dominikánské náměstí. Palác se veřejnosti otevřel po téměř dvaceti letech, a i když Jalta oficiálně není památkou, na její rekonstrukci dohlíželi památkáři. Kuriozitou jsou jeho okna. Díky stavebním úpravám v průběhu let je na budově 18 různých rozměrů oken a investor rekonstrukce nechal všechna kastlová dřevěná okna vyrobit znovu na míru.