El Gastor wurde im 16. Jahrhundert von Landwirten aus dem nahen Zahara de la Sierra gegründet. Um diesen ursprünglichen Ortskern entstand das heutige Dorf, welches 1834 seine Unabhängigkeit von Zahara erlangte. Aus El Gastor stammt der sogenannte Fandango de El Gastor, einzigartiger Beitrag zum Cante Flamenco. Zudem war El Gastor der Zufluchtsort von José Maria „El Tempranillo“, einem der letzten Banditen des Gebirgslandes. Das ehemalige Wohnhaus der Verlobten des berühmten Räubers ist heutzutage ein Museum und zeigt neben der Räubergeschichte auch das Leben des 19. Jahrhunderts im Gebirge auf. Die Dorfkirche Iglesia Parroquial de San José aus dem 18. Jahrhundert und im neoklassischen Stil erbaut, beherbergt die Statuen der Stadtpatrone, Virgen del Rosario und San José. Aufgrund seiner hohen Lage und den mit Blumen geschmückten Gassen ist El Gastor auch als „Balkon der weißen Dörfer“ bekannt.
Die Umgebung von El Gastor bietet sich zum Wandern im Steineichenwald von La Breña oder zur Cima de las Grajas an, von der man eine wunderbare Aussicht über viele Dörfer der Provinzen Cádiz und Málaga genießen kann. Die Cueva del Susto befindet sich auch ganz in der Nähe, setzt jedoch Klettererfahrung voraus. Aber auch prähistorische Dolmen und Gräber findet man im nahegelegen Tajo Algarín, wie der Dolmen del Gigante und der Dolmen von El Charcón.
