San Sebastián de La Gomera gehört zu einem der Siedlungsgebiete der Guanchen, den Ureinwohnern der Insel. Im Jahre 1440 besetzte Hernán Peraza den Ort, an dem sich heute die heutige Hauptstadt der Insel befindet. Er gab ihm den Namen San Sebastián, wahrscheinlich aufgrund der Bewunderung, die die spanische Bevölkerung diesem Heiligen entgegenbrachte.

Die ersten Gebäude von San Sebastian, errichtet noch bevor die Eroberung der Insel abgeschlossen war, sind die Kirche Ermita de San Sebastián und die Kirche Iglesia de La Asunción, die erst nur eine kleine Kapelle war und den Wehrturm Torre del Conde (Turm des Grafen) in der Mitte des Tales.

Christoph Kolumbus brach von hier aus 1492 nach Indien auf und entdecke dabei Amerika. Doña Maria, die Witwe des Grafen Hérnan Peraza, gewährte ihm Hilfe zur Reparatur seines schnellsten Schiffes, der Pinta. Aus dem Brunnen La Aguada im alten Zollhaus soll Kolumbus Wasserreserven für die Überfahrt, und das Wasser zur Taufe Amerikas geschöpft haben.