Klášter byl podle pověsti založen Kunhutou ze Žerotína ve 40. letech 13. století vedle špitálu sv. Ducha na Předhradí. První písemná zmínka o olomouckém klášteře klarisek pochází z roku 1298 z listiny krále Václava II. Celý objekt ve stylu rané gotiky byl ovšem dokončen již roku 1250, téměř o půl století dříve. Listina dokládající tento letopočet byla dokonce objevena v jednom ze základních kamenů, který se našel při barokní přestavbě. K té došlo ve druhé polovině 18. století, kdy celý areál získal svoji dnešní podobu. Stavitelem byl olomoucký zednický mistr Matěj Kniebandl (1702-1777).
Kostel sv. Kláry projektoval stavitel Václav Beda – kostel ovšem fungoval velmi krátce (od roku 1780 do roku 1782). Interiér svatostánku byl po zrušení vyzdoben malbami Františka Wagnera. Klášter klarisek byl v podstatě poslední významnější církevní barokní stavbou na území města Olomouce.
V souboru dvoupatrových budov s vnitřním dvorem je největším prostorem klášterního komplexu právě kostel sv. Kláry s hlavním vstupem z náměstí. Areál společně s jezuitským konviktem (dnes Umělecké centrum UP), budovou koleje (dnes Vojenský správní archiv) a kostelem Panny Marie Sněžné tvořily tzv. olomouckou jezuitskou čtvrť.
Po zrušení jezuitského řádu patentem císaře Josefa II. v roce 1782 byl klášter využíván c.k. studijním fondem – v kostele byla umístěna univerzitní studijní knihovna a ve zbytku objektu kasárny, od roku 1879 se stal novým vlastníkem vojenský erár. V r. 1907 bylo do kostela místo knihovny přestěhováno Muzeum arcivévody Ferdinanda se svými přírodovědnými a egyptskými sbírkami. Tak tomu bylo až do zmíněného roku 1959, kdy objekt získalo do své správy Vlastivědné muzeum, které sem umístilo muzejní sbírky a část odborných pracoven.
Dalším objektem využívaným Vlastivědným muzeem v Olomouci je bývalá školní budova jezuitské univerzity na Denisově ulici. Jedná se o trojkřídlou stavbu zbudovanou v rozmezí let 1701-1708. Za duchovního autora architektonického řešení této velkoryse koncipované budovy bývá tradičně považován Giovanni Pietro Tencalla (1629-1702), ačkoliv se v poslední době stále více uvažuje také o Domenicu Martinellim (1650-1718).
Vlastivědné muzeum v Olomouci vzniklo v roce 1883, kdy byl založen Vlastenecký spolek muzejní, který současně zřídil své spolkové muzeum jako první české muzeum na Moravě. Mezi hlavní zakladatele muzea patří například významný archeolog a antropolog Jindřich Wankel (1821-1897), spisovatel a vlastivědný pracovník Jan Havelka (1839-1886), slezský buditel a historik Vincenc Prasek (1843-1912) a vlastenecký kněz a etnograf Ignát Wurm (1825-1911).
