V minulosti bolo dobrým zvykom postaviť v každej obci zemiansku kúriu alebo kaštieľ. Do dnešných dní sa zachovalo len malé množstvo podobných stavieb a ešte menej z nich je dodnes využívaných na kultúrne účely. Krupský kaštieľ patrí k najtypickejším reprezentantom klasicistickej architektúry na Slovensku, dnes slúži pre potreby Slovenského národného múzea – Hudobného múzea.
Prvým majiteľom krupského panstva bol Michal II. Brunsvik (1671 – 1719). Už v 16. storočí sa Ján Brunsvik pochádzajúci z nemeckého Braunschweigu stal poštmajstrom v Hlohovci a neskôr získal zemiansky titul. Jeho pravnuk Michal II. Brunsvik sa do Krupej priženil a s manželkou Máriou Teréziou rod. Vitálišovou (zomr. 1742) boli rozumnými hospodármi, ktorí sa o svoje vlastníctvo zodpovedne starali a tvrdo pracovali na zhodnotení majetkov tak v okolí Hlohovca ako aj v Krupej. Najstarší syn Anton I. Brunsvik (1709 – 1780) sa narodil v Leopoldove, jeho piati súrodenci v Hlohovci. Anton I. vyštudoval právo na Trnavskej univerzite a po smrti matky začal spravovať dolnokrupské panstvo. Oženil sa Annou Adélfy. Vzhľadom na svoje spoločenské postavenie (člen súdnej stolice, kancelár ostrihomskej župy, radca pri cisárskom dvore) a tiež ako otec rodiny sa podujal na zveľadenie panstva a 25. mája 1749 zaplatil 100 zlatých za vypracovanie projektu kaštieľa cisárskemu dvornému staviteľovi Jánovi Baptistovi Martinellimu.
Stavba veľkého rozsahu prebiehala v rokoch 1749 – 1756. V čase najintenzívnejších prác vozili materiál viac ako 50-timi vozmi. Výsledkom bol jednopodlažný barokový kaštieľ obdĺžnikového pôdorysu postavený pravdepodobne na mieste staršieho objektu. V roku 1775 cisárovná Mária Terézia udelila Antonovi I. Brunsvikovi titul grófa s prídomkom de Korompa (z Krupej) a do daru získal majetky v Martonvásáre, ktoré prenechal najstaršiemu synovi Antonovi II. (1745 – 1792). Druhorodený syn Jozef (1750 – 1827) zostal v Dolnej Krupej. Prvotriedne vzdelanie, správna výchova a vysokopostavený otec mu zabezpečovali možnosti vysnívanej kariéry. Kaštieľ nestál ani 40 rokov a Jozef sa rozhodol pre jeho stavebnú úpravu. Nielen priaznivá finančná situácia, ale aj skutočnosť, že po smrti brata Antona sa stal jediným pokračovateľom rodu Brunsvik, ho poháňala splniť si svoj sen a rozvetvenému príbuzenstvu dať priestor pre skutočné rodinné spoločenstvo. Prácami poveril známeho a talentovaného Jána Jozefa Talherra, hlavného architekta Uhorskej staviteľskej komory, ktorý budoval aj kaštieľ v Martonvásári. Práce v Dolnej Krupej odštartovali v lete 1793. Priestory rozšírili po oboch stranách prístavbou bočných rizalitov, pribudlo tak viacero miestností a objekt zmenil pôvodný barokový vzhľad. V roku 1798 stavebný ruch utíchol a panstvo sa mohlo tešiť z nádhernej barokovo – klasicistickej budovy.
Neuplynulo však ani pätnásť rokov a progresívne zmýšľajúci gróf Jozef Brunsvik už vyžadoval niečo viac. Podujal sa vytvoriť komplexné a moderné sídlo tak, aby sa stalo dôstojným reprezentantom jeho vysokého spoločenského postavenia. Popri úrade kráľovského taverníka bol aj najvyšším sudcom. Jozef Brunsvik bol progresívny aj v tom, že sa obrátil na mladých, ani nie 25-ročných tvorcov: architekta Antona Piusa Rigela, ktorý pochádzal z Ríma a študoval vo Viedni, a z Belgicka pochádzajúceho záhradného architekta Christiana Henricha Nebbiena, aby mu vytvorili miesto pre život a oddych. Gróf sa rád obklopoval mladými a ambicióznymi ľuďmi. Veril v nich a dával im šancu. Predsa len, potreboval aj istú garanciu odbornosti a podľa najnovších výskumov sa na výsledku prebudovania areálu podpísal aj rukopis vtedy mimoriadne uznávanej a skúsenej osobnosti francúzskeho umelca a architekta Charlesa de Moreau (1758 – 1840), ktorý pôsobil vo Viedni. Moreau pri prvej návšteve Dolnej Krupej (1813) sformuloval základnú myšlienku ako riešiť park a neskôr aj dizajn kaštieľa. Zodpovednosť za priebeh stavby a rekultivácie pozemkov však prevzali obaja mladí tvorcovia. Práce ukončili v roku 1822, kedy napísal Rigel v liste grófovi: ,,V celom Uhorsku sa nenájde kaštieľ a park takého výnimočného vkusu a krásy. Krupá bude triumfom umení a vied, ktorý ovenčuje vznešený rod Brunsvikovcov.“
