Původně gotický hrad olomouckých biskupů ze 14. století (zachovány gotické interiéry v zadním traktu zámku). Za husitských válek a v době bojů mezi Jiříkem z Poděbrad a Matyášem Korvínem byl hrad vypálen. V 16. století přestavěn v renesanční zámek (z této doby zadní trakt). Za třicetileté války znovu vypálen, v 2. polovině 17. století opraven a rozšířen o přední barokní dvoupatrové křídlo a kolem zřízena barokní zahrada s loggií. V roce 1753 vyhořel, od té doby v úpadku. Budova sloužila jako vojenská nemocnice, později kanceláře a škola.

Několik let po 2. světové válce bylo v zámku gymnázium. V původní budově gymnázia z roku 1899 byl za války lazaret a po válce nemocnice.