Dominikanie do budowy klasztoru przystąpili po wzniesieniu świątyni. Prace przy nim zakończono prawie sto lat później – w 1706 roku. Swym wyglądem klasztor nawiązuje do czworobocznej fortecy z czterema narożnymi wieżami i dziedzińcem (wirydarzem) pośrodku. Siedzibą dominikanów był przez ponad dwa wieki.​

​

Po II wojnie światowej w obiekcie poklasztornym mieściła się szkoła zawodowa, dom kultury, biblioteka miejska. W 1989 roku, po zmianach ustrojowych, klasztor przeszedł na własność kościoła. W lipcu 2005 roku rozpoczął się kolejny rozdział w życiu zabytkowego obiektu. Po kilku miesiącach intensywnych prac porządkowych klasztor udostępniono zwiedzającym. Dochody uzyskane ze sprzedaży biletów są przekazywane na renowację budynku.