Původní románskou budovu nechal na Václavském náměstí postavit koncem 30. let 12. století olomoucký biskup Jindřich Zdík (1125-1150), jehož otcem byl kronikář Kosma. Zasloužil se o příchod premonstrátů do Českých zemí, se kterými založil například Strahovský klášter, a vynikal i v politické rovině. Zdík je jednou z nejvýraznějších osobností Olomouce. Svým jednáním se velkou mírou podílel na vzhledu a dobovém věhlasu města, za což mu můžeme být všichni jedině vděční.
Nová stavba tehdy doplnila starší kostel sv. Václava (založený před rokem 1107), se kterým palác přímo sousedí svou jižní stěnou, na západě se naopak stýká s kostelem sv. Anny. Budova tvoří jádro olomouckého hradu a dnes je součástí prohlídkového okruhu Arcidiecézního muzea.
Palác je rozdělen na několik částí. K románské epoše (tedy té nejstarší stavební fázi) odkazuje torzo paláce se sdruženými okny s bohatým palmetovým vzorem. Ve středu se nachází rajský dvůr se studnou, kolem kterého vede gotická křížová klenba s cyklem nástěnných maleb. Na tu navazuje středověká kaple sv. Jana Křtitele, která původně sloužila jako kapitulní knihovna. Zdejší fresková výzdoba znázorňuje tzv. Olomoucké nebe s českými a olomouckými patrony.
Palác původně sloužil jako obydlí biskupa a dvanáctičlenné kapituly, která se řídila zásadami společného života. Celý objekt svým vzhledem připomíná tzv. císařské falce. Svému účelu sloužil až do přelomu 12. a 13. století, v té době si každý člen kapituly v čele s biskupem zřídil svou vlastní rezidenci. Stavba tak dostala nové využití, usídlila se zde katedrální škola. Její žáci v nestřežených chvílích vyrývali svými pisátky texty a kresby do kamenných parapetů, sloupků a ostění, při návštěvě muzea tak můžete obdivovat jejich originální styl a rukopis.
Z historických událostí je nutné vyzdvihnout tu nejdůležitější z nich, kterou není nic jiného než zavraždění Václava III. dne 4. 8. 1306. Václav III. byl posledním mužem z rodu Přemyslovců. Přemyslovský rod tak vymírá po meči.
Za iniciátory vraždy byli často označováni Habsburkové nebo Vladislav I. Lokýtek, kteří z jeho smrti těžili nejvíce. Po Václavově smrti byla jeho sestra, Eliška Přemyslovna, provdána za Jana Lucemburského. Narodil se jim syn Václav, pozdější král Karel IV. Jeho vláda je do dnešních dní považována za jedno z nejbohatších období celé naší historie.
Památka byla znovuobjevena v roce 1866 a po 2. světové válce se dočkala náročné rekonstrukce. Veřejnosti se objekt zpřístupnil roku 1988, od roku 2006 byl včleněn do Arcidiecézního muzea jako součást prohlídky. Od roku 1962 je společně s dómem sv. Václava zařazen na seznamu národních kulturních památek.
