Костел був частиною фортечного укріплення, про що свідчать залишки кам'яного оборонного муру навколо костелу, які збереглися до наших часів. На західній і східній сторонах кам'яної огорожі храму можна і зараз побачити бійниці. Мур мав дві брами над якими височіли оборонні вежі з стрільницями. Первісний костел був дерев'яним. В 1769 році, під час польського повстання, костел був знищений конфедератами. Існуючий зараз костел було споруджено протягом 1782-1786 років.

В 1786 році з Замостя, що у Польщі, в храм було перевезено ікону святого Каєтена. У 1791 році відновлений храм повторно освятив львівський архієпископ вірменського обряду Валеріан Туманович. З 1800 року, коли вірмени покинули Жванець, священик-вірменин обслуговував уже переважно католицьку громаду. Але вірменські реліквії в храмі зберігалися принаймні ще у 1895 році, коли Жванець відвідав вірменський історик Кучук-Іоаннісян. Відтак вірменський костел став католицьким парафіяльним храмом. Храм споруджено у бароковому стилі. Складається з нави (неф), притвору (нартекс), напівкруглого вівтаря (аспида). Над нартексом здіймаються дві вежі по обидві сторони. Автентично вони були набагато вищі, але за часу «комунізму» були зруйновані і вже знову відновлені, але не повністю, в 90 роках ХХ століття.

Нава прикрашена високою сингатуркою. На головному вхідному фасаді знаходяться різьблені композиції, виконані у барочно-ренесансних традиціях. Над самими дверима Янголятко з хоругвою-символ вірменської громади міста, як зрештою всіх християн. Над композицією з Янголятком, знаходиться картуш з гербом «Задора» (Zadora), (паща лева з якої виривається полум'я), герб Лянцкоронських. Це досить закономірно, так як Вавжинєц Ланцкоронський (Wawrzyniec Lanckoroński) (XVII-1751) фундував спорудження нового храму. Вище знаходиться ще один картуш з двома поєднаними родинними гербами. Під загальною короною останнього власника міста Олександра Комара (Alesander Komar) (XIX-1875), знаходяться два родові герби: «Корчак» (Korczak), що належав Олександру, та герб «Доленга» (Dołęga), що належав його дружині, Пелагеї  Мостовської (Pelagia Mostowska).

З внутрішньго боку у мур, що оточує храм, вмуровані фрагменти вірменських надгробків, знайдених на подвір'ї храму, де раніше знаходився вірменський цвинтар. Яким чином серед них опинився фрагмент єврейського надгробку (мацеви) де зображено лева, не зрозуміло, тому що єврейський цвинтар (кіркут) знаходиться зовсім у іншому місці. Всі туристи, що прямують з Камянця в Хотин, бачать з лівої сторони дороги костел, але і не здогадуються про багатогранну історію вірменського костелу.