Původně jezuitský seminář v Jindřichově Hradci, v němž je v současnosti umístěna většina expozic Muzea Jindřichohradecka, byl založen manželkou Adama II. z Hradce, Kateřinou z Montfortu. Seminář získal svou vlastní budovu na počátku 17. století. Původní dvoukřídlá stavba na půdorysu ve tvaru písmena L, umístěná při jižní straně Nežárecké brány v roce 1615 vyhořela.


Po deseti letech byla zahájena výstavba nové budovy na čtvercovém půdorysu se středním arkádovým dvorem. Pozdně renesanční objekt dostal svou dnešní podobu roku 1642, kdy byla přistavěna kaple sv. Víta. Seminář sloužil svému původnímu účelu až do zrušení jezuitského řádu, později byl využíván pro obecné vzdělávání. Od šedesátých let 19. století do roku 1923 v budově sídlilo jindřichohradecké gymnázium. Školu sídlící v budově semináře navštěvoval mimo jiné i Bedřich Smetana. Prázdný objekt roku 1925 koupilo město Jindřichův Hradec a upravilo ho pro muzeum, jehož nové výstavní prostory byly veřejnosti poprvé zpřístupněny v květnu 1928.


Budova se vyznačuje strohým hladkým průčelím a dochovanou disposicí takřka v celé hmotě. K semináři přiléhá Nežárecká brána, jediná dochovaná z původně tří městských bran. Prává část průčelí obráceného do náměstí obsahuje pět okenních os s kamenným ostěním, v přízemí je ve třetí ose vstupní brána s bosovaným půlkruhem zaklenutým portálem. Fasáda je v horní části členěna dvěma profilovanými římsami. V levé straně průčelí se gotizujícími okny projevuje kaple sv. Víta. Kolem vnitřního rajského dvora vede arkáda, která je v patře uzavřena okny. Dvorní průčelí jsou zdobena šambránami a toskánskými pilastry. Téměř veškeré vnitřní prostory jsou klenuty křížovými klenbami.