Výstup na Zámecký vrch v Černé Hoře vede kolem zámku, teras a soch až ke kapli sv. Rodiny. Areál není jen jednou historickou stavbou: vedle sebe tu stojí stopy středověkého hradu, renesančního sídla i přestavby z 19. století, které doplňuje park a křížová cesta.
Hrad, který se proměnil v zámek
První písemná zmínka o Černé Hoře a zdejším hradě pochází z roku 1279. Tehdy je uváděn Matouš z Černé Hory. K významným majitelům patřil rod Černohorských z Boskovic: Albrecht Černohorský z Boskovic nechal roku 1561 přestavět hradní jádro na renesanční zámek a přidal také renesanční předzámčí. Rozsáhlý areál si přitom zachoval výrazný opevněný charakter.
Po požáru v roce 1724 zůstal zámek dlouho zčásti poškozený. Roku 1830 se některé části dočkaly barokní obnovy, další však měly provizorní střechu až do poloviny 19. století. Novou etapu zahájili Friesové z Friesenbergu, kteří panství získali v roce 1859.
Hansenova přestavba a detaily průčelí
Friesové pověřili přestavbou vídeňského architekta Theofila Hansena. V letech 1859 až 1861 odstranil barokní přístavby a vtiskl zámku raně neorenesanční, někdy označovanou pseudorenesanční podobu. Historické sídlo tak získalo jednotnější a reprezentativnější vzhled odpovídající 19. století.
Hlavní budova má tři křídla uspořádaná do písmene U, jedno patro a půdní polopatro. Na západě jižního křídla stojí hranolová věž, severní křídlo navazuje na terasu s balustrádou. Nad vjezdem je alianční erb s datací 1841. V nice se nachází socha Immaculaty z roku 1868 od Franze Erlera a na západní terase je podle památkového popisu socha Hygie.
Sochy v parku a cesta na vrchol
Před vstupem do areálu stojí barokní sochy svatého Jana Nepomuckého a archanděla Michaela s plamenným mečem. Michaelova socha se datuje do první poloviny 18. století; v materiálech se uvádí rok 1725 i 1726. Obě sochy prošly v posledních letech restaurováním a poté se vrátily na původní místo v zámeckém parku.
Parkové úpravy vrchu Paseka začaly už v 18. století. Za Friesů přibyly vycházkové pěšiny, upravené přístupové cesty, stromořadí i některé exotické dřeviny. Terasy a zídky se tu propojují s parkem a někdejším lesoparkem.
Na vrcholu stojí kaple sv. Rodiny, postavená roku 1726. Po zrušení v roce 1782 chátrala, v roce 1837 ji však obnovili jako zámeckou kapli. O několik desetiletí později vznikla křížová cesta se čtrnácti zastaveními. Serpentinami stoupá po severovýchodním svahu Zámeckého vrchu; zastavení tvoří cihlové poklony s litinovými reliéfy pašijových scén z blanenských železáren.
Zámek dnes slouží domovu pro seniory
Od roku 1945 je zámek ve vlastnictví státu a od roku 1950 v něm sídlí domov pro seniory. Interiéry proto nejsou běžně přístupné jako klasická zámecká expozice. Zámecký park je podle provozovatele volně přístupný veřejnosti.