Um 1490 versuchten böhmische Franziskaner sich in Kamenz niederzulassen. König Wladislaus betrachtete dies mit Wohlwollen. Jedoch versuchte der Rat dieses Vorhaben zu verhindern.
Erst ein Bannfluch des Meißner Bischofs 1490 gegen die Stadt und ein Schutzbrief des Böhmenkönigs 1493 bewogen den Rat zum Nachgeben.

Am 20. Mai 1493 erfolgte dann die Grundsteinlegung des Klosters. Allerdings durften sich die Mönche nicht innerhalb der Ringmauer ansiedeln. Allen anderen Schwierigkeiten, die die Stadtbehörde gegen die Franziskaner in den Weg legen wollten, trat der König entgegen.

Im Jahr 1499 konnte die Klosterkirche St. Anna eingeweiht werden. Erst 1507 wurden die Wohngebäude im wesentlichen vollendet.  Doch noch immer lag das Kloster ohne Schutz gegen äußere Feinde am Rand der Ringmauer. So begann man 1505 mit dem Bau einer starken Mauer, die halbkreisförmig die Siedlung im Norden einschloss. Diesmal halfen Rat und Bürgerschaft am Zustandekommen des Baues, denn sie hatten ebenfalls ein lebhaftes Interesse, die Nordseite  der Stadt zu sichern. Das belohnte der Böhmenkönig und gewährte den Kamenzern einen „fryen fleisch- oder kewlenmargkt alle dornrstag und sonnst eins tags in der wochen“. Der Rat erhielt weiterhin die Erlaubnis, künftig mit rotem Wachs zu siegeln, ein Zugeständnis, welches das Ansehen der Stadt nach außen hob.

Das Kloster entwickelte sich in den ersten Jahren recht gut. Spenden und Schenkungen flossen ihm zu. So konnten die Mönche im Jahr 1518 ein Haus an der Stadtmauer kaufen,welches sie durchbrachen und verschafften sich auf diesem Weg einen Zugang in die Stadt. So entstand das bis heute erhaltene Wahrzeichen der Stadt Kamenz, „Das Klostertor“.