Ο οικισμός Κάστρο στη Σίφνο βρίσκεται στην ανατολική πλευρά του νησιού, πάνω σε πλάτωμα ύψους 90μ.
Η περιοχή κατοικήθηκε αδιάλειπτα από τους προϊστορικούς μέχρι τους νεότερους χρόνους. Κατάλοιπα αρχαίων κτισμάτων και κατασκευών έχουν βρεθεί τόσο στο πλάτωμα του λόφου, όπου βρισκόταν η τειχισμένη αρχαία ακρόπολη, όσο και στις πλαγιές, όπου αναπτύχθηκε η επίσης τειχισμένη αρχαία πόλη, μέχρι το μικρό επίνειο της Σεράλιας. Τα νεκροταφεία της πόλης εκτεινόταν βόρεια του στενού της μικρής χερσονήσου και δυτικά πάνω από το χείμαρρο Ποταμό.
Λίγα αρχιτεκτονικά λείψανα μαρτυρούν τη χρήση του χώρου κατά τα βυζαντινά χρόνια. Στις αρχές του 14ου αι. αναπτύσσεται στα δυτικά του λόφου, στη θέση Δεσποτικά, οχυρωμένος οικισμός πάνω στα ερείπια της αρχαίας ακρόπολης. Αποτελείται από μια περιμετρική ζώνη κατοικιών, στέρνα, και στο κέντρο οικίες και δυο εκκλησίες, την Παναγία Ελεούσα (ορθόδοξη) και το Φραγκαντώνη (καθολική).
Το κάστρο στη σημερινή του μορφή φαίνεται πως ολοκληρώθηκε στα 1630. Το 17ο και 18ο αι. ο οικισμός του Κάστρου εξακολουθεί να ακμάζει, διατηρώντας τον αμυντικό του χαρακτήρα. Παραμένει πρωτεύουσα του νησιού ως το 1836, οπότε αυτή μεταφέρεται στην Απολλωνία.