Se sitúa al sur de la población, en el espacio comprendido entre el parque del Majuelo, la playa de Puerta del Mar y el espolón del peñón del Santo.

La planta del castillo es sensiblemente triangular, adaptándose al espolón rocoso en el que se asienta. Por el sur, la fortaleza se alarga hacia la costa, prolongándose hasta el peñón de San Cristóbal, con el que se unía por medio de una coracha, quedando ésta cortada actualmente por el Paseo Marítimo. El perímetro del recinto está compuesto por 9 lienzos de muralla y 11 torres. Los restos que se conservan corresponden a varios periodos constructivos, no siempre claramente diferenciables.

Las primeras noticias históricas se remontan a la época griega y luego a la cartaginesa, recibiendo el nombre de Manoba Sexi Armun.

Durante la dominación musulmana por los reyes de Granada vivió una época de apogeo, afirmándose que estos guardaban sus tesoros en la fortaleza, para mayor seguridad. Tras la entrega de Baza, la plaza fue entregada a los Reyes Católicos en 1489.

Durante la guerra de las Alpujarras, Aben Aboó lo atacó infructuosamente. Con el reinado de Carlos V se realizó una gran torre de cuadrada planta denominada «La Mazmorra», que dominaba el puerto y la ciudad. Con el s. XIX y la guerra de la Independencia, el edificio sufrió grandes destrozos y llegando a ser prácticamente desmantelado por los franceses.

Se declaró Monumento Nacional en 1931. Se iniciaron labores de restauración para devolverle su antigua imagen. En la actualidad, es propiedad municipal y alberga el Museo Histórico de la ciudad.