Le premier château de Graasten était un petit château de chasse construit au milieu du XVIe siècle. Après l'incendie du château en 1603, un nouveau château fut construit, probablement situé à l'endroit où se trouve l'aile sud du château actuel.

Sous le grand chancelier Frederik Ahlefeldt, propriétaire de Graasten en 1662, et son fils, un immense château baroque fut construit peu avant 1700, qui brûla cependant en 1757. Seules la chapelle du château et quelques pavillons furent conservés. Le château de Graasten actuel date donc de 1759, date à laquelle une nouvelle aile sud fut construite, et de 1842, quand fut construit le bâtiment central. Au début du siècle dernier, d'importantes rénovations ont été réalisées. Les ducs d'Augustenborg furent propriétaires du château de Graasten de 1725 à 1852, date à laquelle il fut repris par Frédéric VII. Après 1864, le château fut de nouveau repris par les Augustenborg.

Après la Réunification en 1920, l'État rache le château qui servit alors, entre autres, de salle d'audience, de résidence pour le juge et le chef de la police et de bibliothèque. En 1935, après d'importantes restaurations, le château de Graasten fut cédé comme résidence d'été aux Princes de Galles de l'époque (futurs Roi Frédéric IX et Reine Ingrid).

Frederik IX et la reine Ingrid passaient leurs étés au château de Graasten. Après la mort de la Reine Ingrid, le château fut repris par la Reine Victoria, qui perpétue la tradition d'utiliser le château pendant l'été.

Le jardin du château de Graasten est ouvert au public lorsque la famille royale ne réside pas au château.

Le jardin du château est de style romantique et a été aménagé à la fin du XVIIIe siècle. Après que retour du château à la Maison Royale en 1939, à la demande de la Reine Ingrid, une réorganisation du jardin dans le style anglais fut initiée. Le jardin se caractérise par des pelouses ouvertes, de grands arbustes, des parterres de roses et de fleurs et une vue sur le paysage lacustre et forestier environnant.

La chapelle du château de Graasten fait partie des seuls bâtiments conservés du château original, qui a brûlé en 1757.

La chapelle est située dans l'aile nord du château et est issue de la reconstruction du château d'origine au XVIIIe siècle. La chapelle opère depuis 1851 comme église paroissiale.

L'intérieur de la chapelle est décoré, entre autres, d'un grand retable baroque qui recouvre le mur du fond du sol au plafond. Le retable est décoré de sculptures et de peintures ainsi que de colonnes marbrées de rouge et de blanc. Le plafond en stuc est décoré d'anges et de mastics sur fond de ciel bleu clair.

Le potager royal du château de Graasten a ouvert ses portes au public en 2020. On peut y suivre les saisons dans un potager qui produit des fruits et légumes pour la table royale.

Le Potager Royal contient, entre autres, de nombreuses herbes, des buissons avec des baies comme des mûres, des framboises et des groseilles, des fleurs et une forêt d'arbres fruitiers qui poussent en treillis. Dans le potager, l'accent est également mis sur l'apprentissage de la nature et il est possible pour les écoliers d'y recevoir un enseignement et de découvrir le chemin de la ferme à la table.

Dans le bâtiment du jardinier se trouve un magasin de jardinage avec un café où sont vendus de la nourriture et des boissons. De plus, une nouvelle maison a été érigée au centre du potager, qui sert à diffuser des informations sur l'entretien et le fonctionnement d'un potager durable et productif ainsi qu'à hiverner les plantes les plus délicates du jardin comme les agrumes et les myrtes. .

L'Agence des Châteaux et de la Culture est responsable de l'exploitation du jardin du château de Graasten et du potager royal. Dans le potager, les jardiniers de l'agence sont aidés par des employés du service de psychiatrie sociale « Væksthuset » de la municipalité de Sønderborg.