El Castillo de San Sebastián se encuentra al final del espigón de la Playa de la Caleta.
Su historia es la misma que la de otras fortificaciones que miraban al mar, para proteger a la población de los ataques exteriores.
Sus orígenes se remontan a cuando los árabes tenían el control del territorio, ya en aquel momento existía una torre- atalaya con la misma función defensiva. Hasta que en el siglo XV una nave veneciana se refugió en el islote porque toda la tripulación estaba contagiada por la peste. Desde aquel momento se edificó la ermita de San Sebastián y se labraron armas de la ciudad de Venecia como reconocimiento a la hospitalidad gaditana con los afectados.
Finalmente, tras el nombrado saqueo inglés del siglo XVI, el castillo volvió su función defensiva, reconstruyéndose en 1613 la torre, bajo el mando de Juan de la Fuente Hurtado. Desde aquel momento son diversas las restauraciones y adaptaciones que ha pasado el castillo dependiendo de las necesidades de la época.
Si decides visitarlo asegúrate de si está abierto o no, porque suele estar siempre en reformas.