Zámek byl postaven někdy v l. 1520–1530 Petrem ze Žerotína v renesančním slohu. Další majitel, hrabě Harrach, v pol. 18 stol. nechal zámek rozšířit a v l. 1763–1765 bylo přistavěno severní a západní křídlo. Státní archiv zde sídlil do roku 2001, po té mělo část zámku v pronájmu město Rýmařov a od roku 2019 je zámek ve správě NPÚ.