Ο λόφος της Κολώνας αποτελούσε την Ακρόπολη του νησιού από τους προϊστορικούς χρόνους (3000 π.Χ.) κι ακόμα νωρίτερα μέχρι τους αρχαϊκούς χρόνους οπότε και λατρευόταν ως τόπος ιερός.
Ο αρχαιολογικός χώρος της Κολώνας βρίσκεται σε πολύ μικρή απόσταση από το λιμάνι και είναι προσβάσιμος με τα πόδια σε λιγότερο από 10’ όπως βγαίνεις από το λιμάνι προς τα αριστερά.
Από το άλλοτε θρησκευτικό και πολιτικό κέντρο του νησιού, σήμερα μεταξύ άλλων διασώζεται μία κολώνα (ύψους 8μ) που ανήκει στον αρχαϊκό ναό του Απόλλωνα από την οποία και πήρε το αξιοθέατο το όνομά του. Λέγεται μάλιστα ότι οι Βενετσιάνοι ναυτικοί χρησιμοποιούσαν τις κολώνες του Ναού του Απόλλωνα για προσανατολισμό.
Ένα από τα πιο σημαντικά κτίσματα του αρχαιολογικού χώρου της Κολώνας ήταν αναμφίβολα ο ναός του Απόλλωνα από τον οποίο σώζεται η μία κολώνα που χαρακτηρίζει σήμερα ολόκληρο το μνημείο. Σύμφωνα με πληροφορίες, ο ναός του Απόλλωνα ήταν δωρικού ρυθμού, χτισμένος από τοπικό πωρόλιθο και αποτελείτο από 11 κολώνες στο μήκος και 6 κολώνες στο πλάτος του. Τα αετώματα του ναού (κατασκευασμένα από μάρμαρο Πάρου) απεικόνιζαν τις θρυλικές αμαζονομαχίες.