Gärningsmannen ska ha brutit sig in i kyrkans lokal på Nya Rådstugugatan vid 22-tiden på långfredagskvällen.
En dryg timme senare fick polisen samtal om att en man sågs försöka bryta upp ett värdeskåp utomhus på Slottsgatan.
-Vi åkte dit och grep mannen för inbrottsstöld. Skåpet han höll på med kunde härledas till inbrottet på Nya Rådstugugatan, säger Christer Wiktorsson, länsvakthavande polisbefäl.
Efter förhör anhölls 36-åringen av åklagare.