À partir de 1694, Christian V fit construire une maison à colombages à deux étages à Dyrehaven. En 1734, il fut démoli, après quoi l'architecte de la cour Lauritz de Thurah construisit dans les années 1734-1736 le pavillon de chasse actuel au sommet de la colline, au milieu de la plaine.

Le château est un bel exemple de l'art architectural de Thurah et l'une des plus belles œuvres du baroque tardif en Angleterre. Le plan du château est symétrique sur les quatre étages.

Au sous-sol, la cuisine est située au centre, sous la salle à manger. Le long du pignon sud, le bel escalier traverse toute la maison. La cage d'escalier est recouverte de carrelage aux motifs de chasse. Les carreaux sont fabriqués dans l'usine de Store Kongensgade.

Le rez-de-chaussée contient la grande salle à manger, la salle la plus élégante avec une riche décoration de marbre, stuc, miroirs et boiseries marbrées. Les deux cabinets sud sont décorés dans un fort baroque tardif, tandis que les trois cabinets nord et les chambres du Roi et de la Reine sont décorés en style rococo. La pièce médiane du toit est conçue comme un salon pour les domestiques.

Dans la salle à manger, il y avait à l'origine une table dite d'ermitage, une machine qui, au moyen d'un dispositif de levage, permettait à la table bien couverte de monter et de descendre jusqu'à la cuisine sous-jacente à travers une branche située dans le sol de la salle à manger, pour qu'on puisse dîner sans serveur soit, en français, "un Ermitage". Cette machine fut supprimée au milieu du XVIIIe siècle.

Le château a été rénové à plusieurs reprises. Dans les années 1979-1991, le château a subi une restauration extérieure approfondie. Lors de la restauration de l'intérieur du château en 2009-2013, la palette de couleurs originale du XVIIIe siècle a été mise en valeur, entre autres.

Au fil des années, le Palais de l'Ermitage a été le centre des chasses royales. Il est mis à la disposition du Roi, qui l'utilise aujourd'hui pour des déjeuners.