Kostel sv. Jiljí s vysokou věží dominuje souboru budov někdejšího augustiniánského kláštera, založeného Rožmberky v roce 1367. Klášter poznamenal dějiny města a zařadil se k předním centrům vzdělanosti a umělecké tvorby na českém jihu. Rožmberská nadace byla neobyčejně velkorysá, jmění kanonie však rostlo i obratnou hospodářskou politikou a odkazy.

Se stavbou nového konventu se započalo současně se stavbou kostela a v roce 1369 už zřejmě pokročily práce na budování ambitu. Na severní straně kostela byla zbudována i jednopatrová budova konventu čtvercového půdorysu, s křížovou chodbou uchovanou v téměř neporušené podobě. Každé ze čtyř křídel ochozu má kromě klenebních polí pět polí vlastních. Všechny čtyři stěny obrácené do rajského dvora jsou prolomeny širokými hrotitými arkádami s úzkými parapety. Takto vzniklá okna jsou členěna třemi pruty a jejich závěr je vyplněn bohatou kružbou trojího druhu.


K severní straně kostela přiléhá jednopatrová budova konventu čtvercového půdorysu, s křížovou chodbou z konce 14. století, dochovanou v téměř neporušené podobě. Všechny čtyři stěny směřující do rajského dvora jsou prolomeny širokými hrotitými arkádami s úzkými parapety.


V chodbě nejvíce upoutají překrásné kružby gotických oken a nástěnné malby z konce 14. až 16. století. Do středu východního křídla křížové chodby se otevírá kaple sv. Jana Evangelisty, náležející k původnímu založení. Uprostřed křížové chodby je rajská zahrada se studnou.


Nádvoří kláštera tvoří komplex budov většinou barokního slohu z 18. století. Vyjímkou je budova s gotickou kaplí sv. Vincence, kterou nechal roku 1380 postavit Petr z Rožmberka. Kaple nejprve sloužila jako soukromá kaple Rožmberků a roku 1395 byla darována klášteru. (Dnes je kaple součástí schodiště bytového domu).


Uprostřed klášterního nádvoří je kamenná kašna z konce 17. století. Západní trakt bývalého kláštera slouží od r. 2014 – po té co jej opustil Městský úřad v Třeboni – potřebám Státního oblastního archivu v Třeboni.