Kalenin bir çok yerinde görülen kat kat boyalı bazı armaların bir zamanlarki parlak renkleri solmuş durumdadır. Bu nedenle bu işaretlerin kimi veya neyi temsil ettiklerini anlamak güçtür. Genel olarak bu armaların üzerlerinde aslanlar, ejderler, haçlar ile yatay ve dikey bantlar vardır. Her şövalyenin kendine ait bir işareti vardı; diğer işaretler belli ülkeleri, dinsel figürleri, kale komutanlıklarını ve Nizamın Büyük Ustalarını göstermekteydi. Günümüze 249 kadar farklı dizayn ulaşmıştır. Diğer tarihsel kayıtlar, bu sembollerin çoğunun neler olduğunu aydınlatmıştır. Örneğin, Kale'deki yedi kapının her birinin üstünde tanınmış bir çok şövalyenin ve Büyük Ustaların armaları yer almaktadır. Öte yandan, Fransız Kraliyet Arması da icerlek hendeğin kuzey duvarını süsler. Yüksekçe bir duvar üzerinde Meryem Ananın ve Apostol Peter'in kendi göğsü üstüne doğru tuttuğu Cennet'in anahtarları gibi dinsel motifler de görülür.
Şen Peter Kalesi, yüzyıldan fazla bir süre için Şövalyeler Toplumu'nun entegre bir savunma noktasıydı. Osmanlı İmparatorluğu bu sıralarda büyümekteydi. 1453 yılında II. Sultan Mehmet (Fatih) Konstantinopol'ü (bugünkü İstanbul) fethettiğinde, Şövalyelerin ellerindeki yerlere saldırma isteğini ilan etti. Şövalyeler ancak, Fatih'in 1480'deki saldırısına kadar dayanabildiler.
1521'de Kanuni Sultan Süleyman, Nizam'ın Rodos'taki merkez üssüne meydan okumaya hazırdı. Büyük Usta Fabrico del Carretto ile karşılıklı mektuplaşmaları sonucunda Haziran 1522'de savaş ilan edildi. 200.000 Osmanlı askeri Marmaris Koyu'nda toplandı. Şövalyeler bu kuşutmaya ancak altı ay dayanabildiler ve 1523'te teslim olmaya zorlandılar. Ardından da Sen Peter kalesi teslim alındı
Sultan Süleyman, Şövalyelerin yaşamlarını bağışladı. Onlar da deniz yoluyla Girit adasına gittiler. 1530'da Avusturya, İspanya ve Sicilya İmparatoru V.Şarl (Charles) Akdeniz'deki Malta Adası'nı Şövalyelere verdi. Napolyon Bonapart ise onları 1798'de buradan kovdu ve böylece Nizam ortadan silindi; 1831 yılında İngiltere'de yeniden canlandı ve günümüze kadar ulaştı. Bu grup halen hiç bir hükümete bağlı olmaksızın misyonunu otuzdan fazla ülkede bir yardım organizasyonu olarak sürdürmektedir. Papa, organizasyonun yeni yasasını 1961 yılında onaylamıştır.
kale Türklerin elinde pek çok değişik nedenlerle kullanıldı. 17. Yüzyılda köylüler Kale'nin içine bir çok ev yaptılar. 1824'teki Rum isyanında, Türkler burayı ve kasabayı askeri üs olarak kullandılar. 19. Yüzyılda Türk inşaatçılar buraya bir halk hamamı yaptılar ve daha sonra hamama minare ekleyerek, camiye çevirdiler. 1895'te de kale güçlendirilerek hapishane olarak kullanıldı.
Birinci Dünya Savaşı'nda bir Fransız savaş gemisi Kale'yi topa tutarak, bir çok kuleye zarar verdi ve minareyi devirdi. Savaştan sonra, Anadolu kıyılarını Kuşadası'ndan Antalya'ya kadar işgal eden İtalyanlar, Kale'ye bir garnizon yerleştirdiler. Ayrıca İtalyan ve Fransız kulelerini de tamir ettiler ve Türkiye ile iyi ilişkiler kurmaya çalıştılar. Mustafa Kemal Atatürk tarafından kumanda edilen Kurtuluş Savaşı'nı Türklerin kazanacağı belli olunca, İtalyanlar 1921 yılında geri çekildiler.
