Η αρχική ονομασία του φρουρίου ήταν "Roca al mare". Κτίστηκε από τους Βενετούς πριν από την κατασκευή των νέων τειχών. Καταστράφηκε από τον μεγάλο σεισμό του 1303 και πήρε την οριστική του μορφή μεταξύ 1523-1540. Επί τουρκοκρατίας χρησιμοποιήθηκε σαν φυλακή. Στα υπόγειά του χάθηκαν πολλοί επαναστάστες αγωνιστές.
Είναι ενετικό φρούριο, που προστατεύει τον λιμενοβραχίονα και αποτελεί απόληξη του τείχους. Δομημένο με ογκολίθους, αποτελείται από δύο ορόφους. Το ισόγειο έχει θολωτή στέγη με μεγάλους φωταγωγούς. Χωρίζεται με παχείς τοίχους σε 26 διαμερίσματα που χρησιμοποιούνταν σαν κατοικίες του Καστελλάνου, των καπετάνιων, των αξιωματικών και σαν αποθήκες. Τα ανώτερα τμήματα και η βάση του Μιναρέ είναι τούρκικα.
Εργασίες στερέωσης, αποκατάστασης και καθαρισμού έχουν πραγματοποιηθεί από την 13η Εφορεία Βυζαντινών Αρχαιοτήτων.
Κατά την έκθεση έργων του Δομήνικου Θεοτοκόπουλου φιλοξένησε το Διεθνές Συνέδριο που πραγματοποιήθηκε. Συχνά, φιλοξενεί πολιτιστικές εκδηλώσεις και εκθέσεις. Στον δεύτερο όροφο έχει διαμορφωθεί μικρός θεατρικός χώρος.
Είναι χώρος αρχαιολογικός, που δέχεται σημαντικό αριθμό επισκεπτών.