Το κάστρο στη Χώρα της Αστυπάλαιας, είναι μοναδικό σε όλη τη Δωδεκάνησο. Κάθε συγκροτημένος οικισμός στο Αιγαίο, θάλασσα που για αιώνες μαστίζονταν από πειρατές, χρειαζόταν προστασία. Συνήθως, σε περίπτωση κίνδυνου, ο τοπικός πληθυσμός κατέφευγε σε κάποιο οχυρωμένο ύψωμα της περιοχής. Τα περισσότερα από τα κάστρα αυτά, είχαν καθαρά αμυντική αρχιτεκτονική με χοντρούς τοίχους και πλαγιοκάλυψη από πύργους και οδοντώσεις της οχυρής περιμέτρου. Η Αστυπάλαια είναι διαφορετική περίπτωση, επειδή η οχύρωση είναι η ίδια μέρος του οικισμού : ένας συνεχείς δακτύλιος από τρίπατα σπίτια, σε επαφή το ένα με το άλλο, προστάτευε το εσωτερικό. Μόνο ο πυλώνας του κάστρου και ένα πυργόσχημο κτίριο στη νότια πλευρά του περιβόλου φαίνεται ότι είχαν στρατιωτικό χαρακτήρα.

Το 1207μ.χ. δόθηκε από το Μάρκο Σανούδο, Δούκα της Νάξου και Κύριο των Κυκλάδων, στον Κόμη Ιωάννη Κουερίνι, του ομώνυμου Ενετικού Οίκου. Ο Κόμης εγκαταστάθηκε στο κάστρο και με δικά του έξοδα ανέλαβε να το αναστυλώσει. Ο Κουερίνι αναγκάστηκε να εποικίσει το την Αστυπάλαια, που είχε ερημωθεί από μια επιδρομή των Τούρκων, με κόσμο που έφερε από την Τήνο και την Μύκονο. Το κάστρο εγκαινιάστηκε επίσημα το 1453 μΧ..

Απο το 16ο έως το 19ο αιώνα ανήκε στην Οθωμανική Αυτοκρατορία. Ο Τουρκικός στόλος κατέβαινε μια φορά το χρόνο από την Κωνσταντινούπολη για να εισπράξει τους φόρους, αλλά τον υπόλοιπο καιρό άφηνε τους νησιώτες να τα βγάλουν μόνοι τους πέρα με τους πειρατές. Έτσι οι κάτοικοι της Αστυπάλαιας έπρεπε να συμβιώνουν με τους πειρατές, στη συνεργασία με τους οποίους έβρισκαν σχετική ασφάλεια, αλλά και οικονομικά οφέλη. Το κάστρο ήταν απόλυτα προσαρμοσμένο σε αυτόν τον τρόπο ζωής και φαίνεται ότι παρέμεινε το κύριο μέρος του οικισμού της χώρας μέχρι το 18ο αιώνα.

Η μοναδική είσοδος του κάστρου βρίσκεται στην Νοτιοδυτική πλευρά του και οδηγεί στο εσωτερικό του μέσα από ένα χαμηλό, στεγασμένο με σταυροθόλια, χώρο. Η είσοδος ήταν χώρος εμπορικών συναλλαγών. Στο πρώτο κτίριο αριστερά από την είσοδο, βρίσκονταν το καφενείο, τόπος αναψυχής και κοινωνικής επαφής. Μέσα στο κάστρο υπήρχαν δύο γειτονιές, της Παναγιάς του Κάστρου ή Ευαγγελίστριας και του Αϊ Γιώργη ή Γλυκαυλή. Εκτός από κατοικίες υπήρχαν και πολλά σιδηρουργία, ξυλουργία και εργαστήρια κεραμικής. Τα σπίτια του κάστρου ήταν όπως είπαμε τρίπατα. Κάθε σπίτι τρίπατο περιελάμβανε δύο ή τρείς μονόχωρες κατοικίες, στέγαζε δηλαδή δύο ή τρείς οικογένειες. Το κάστρο κατά καιρούς ήταν πυκνοκατοικημένο. Στα τέσσερα στρέμματά του ζούσαν κατά μέσο όρο 2.500 άτομα, ενώ φαίνεται ότι οι κάτοικοί του έφτασαν και τις 4.000. Η ύδρευση των σπιτιών γίνοταν από στέρνες. Τα καστρινά σπίτια είχαν τέλειο αποχετευτικό σύστημα στην πλευρά που είναι το Σεράι (ο τετράγωνος πύργος με περίμετρο 18 μ.), που βρίσκεται στο Νοτιοανατολικό άκρο του κάστρου.

Το 19ο αιώνα η πρώτη μεταεπαναστατική Ελληνική κυβέρνηση, του Ιωάννη Καποδίστρια, βάζει ως πρώτο μέλημά της την καταπολέμηση της πειρατείας. Τα Ελληνικά πολεμικά πλοία, εξαπολύουν συστηματικά έλεγχο της θαλάσσιας περιοχής των συνόρων του νεοσύστατου κράτους. Μαζί με τα ελεύθερα νησιά, ωφελούνται και τα σκλαβωμένα, η πειρατεία παρακμάζει και σταδιακά αφανίζεται.

Έτσι το 19ο αιώνα και τις αρχές του 20ου, όπου υπήρχε μεγαλύτερη ασφάλεια, τα ανοίγματα στον οχυρό περίβολο διευρύνθηκαν και σε πολλά προστέθηκαν ξύλινοι εξώστες, ενώ στις αρχές του 20ου αιώνα, οι κάτοικοι του άρχισαν να βγαίνουν, αισθανόμενοι ασφάλεια, έξω από αυτό και να εποικούν την γύρω περιοχή της Παναγίας της Πορταϊτισσας. Το 1943 άρχισε να εγκαταλείπεται από τους κατοίκους του, ενώ οι τελευταίοι το εγκατέλειψαν με τον καταστρεπτικό σεισμό του 1956.

Όταν χτύπησε ο μεγάλος σεισμός του 1956 (7.1 ρίχτερ σηκώνοντας παλιρροιακό κύμα 20 μέτρων στην Αστυπάλαια), τα περισσότερα σπίτια στην κορυφή του λόφου κατέρρευσαν, συμπαρασύροντας το ένα το άλλο. Τα υπόλοιπα κτίρια εγκαταλειφθήκαν από τους κατοίκους τους και απογυμνωμένα από τα υπόλοιπα ξύλινα στοιχεία τους, αφέθηκαν στο έλεος των στοιχείων της φύσης.

Την δεκαετία του 1990, έγινε μια μελέτη για την αξιοποίηση του κάστρου, αλλά δεν μπόρεσε να εφαρμοστεί γιατί δεν είχαν λυθεί προβλήματα, όπως :

Το ιδιοκτησιακό καθεστώς, καθώς τα ερειπωμένα σπίτια είχαν πολλούς ιδιοκτήτες.
Η φύση της θεμελίωσης των κτισμάτων.
Η αρχαιολογική τεκμηρίωση.
Η επιτάχυνση της φυσικής φθοράς.
Μετά το σεισμό, φυσικοί παράγοντες και ιδιαίτερα η ανεμοπίεση από τους ισχυρούς ανέμους, το μεγαλύτερο μέρος του χρόνου, έχουν επιδεινώσει δραστικά την κατάσταση των λιθοδομών, που από την αρχή δεν ήταν ιδιαίτερα ισχυρές. Οι πιθανότητες καταρρεύσεων, που αυξάνονται λόγω της σεισμικότητας της περιοχής, μπορεί να θέσουν σε κίνδυνο τα σπίτια γύρω από το κάστρο αλλά και τους περαστικούς. Σήμερα το κάστρο, μερικά ανακαινισμένο χάρη σε προγράμματα της Ε.Ε. είναι μερικά επισκέψιμο, ενώ το δυτικό μέρος του έχει μερικώς αναστυλωθεί.