En la década de 1820 Simón Bolívar le dio las islas Gorgona y Gorgonilla a Federico D'Croz, un sargento mayor de la Legión Británica, como reconocimiento a su labor en la Batalla del Pantano de Vargas durante la causa de Independencia. Después de que estalló la guerra civil o Guerra de los Mil Días (1899-1902), Fidel D'Croz Satizábal, el nieto de Federico D'Croz vivió en la parte norte de Gorgona y Ramón Payán vivió en la parte sur. Ramón Payán construyó una próspera hacienda en la isla.
La familia D'Croz y la familia Payán vivieron en la isla Gorgona hasta 1960, cuando el presidente de Colombia Alberto Lleras Camargo (1958-1962) apropió las islas, con el pretexto de que las islas de la nación no podían pertenecer a particulares, y construyó allí una prisión de máxima seguridad.
