En raison de son emplacement stratégique, Gramvoussa a été fortifiée par les Vénitiens, qui ont construit un château bien fortifié au sommet d'un rocher escarpé à une altitude de 137 m.
La construction du château de Gramvoussa a commencé en 1579 et s'est terminée en 1582. Il a cependant été détruit en 1588, lorsque le tonnerre a frappé le magasin de poudre. Le château a été reconstruit en 1630.
C'était l'un des trois châteaux à rester sous domination vénitienne après l'occupation turque de la Crète.
Même si le château était imprenable, pendant la guerre vénitienne-turque, le commandant italien a été soudoyé par les Turcs et il a rendu le château en 1692.
Pendant le soulèvement grec contre les Turcs, Gramvoussa a joué un rôle important et desséchant. Après de nombreuses tentatives, le château fut finalement occupé par les révolutionnaires crétois en 1825, lorsqu'une équipe de Crétois déguisée en Turcs entra dans le château. Gramvoussa a été la première partie de la Crète à être libérée par les Turcs.
L'île rocheuse est devenue un abri pour plus de 3000 personnes et une base d'opérations pour les équipes de la révolution. Mais il est également devenu une base de pirates qui ont pillé tous les navires qui passaient dans les mers autour de l'île. Ainsi, avec l'accord du gouvernement grec, une garnison anglais-français a pris le contrôle de l'île de Gramvoussa en 1828.
Aujourd'hui, les hauts murs du Gramvoussa sont préservés, à moitié ruinés mais impressionnants.
En face de l'île de Gramvoussa se trouve la magnifique plage de Balos.
La plage est recouverte de sable fin et blanc et se situe entre les deux calanques du cap Tigani. Le même sable blanc recouvre le fond de la mer et confère à la mer une couleur émeraude. Devant la plage se trouve l'île pittoresque de Gramvoussa et à l'arrière se trouve la montagne Geroskinos (altitude 762 m).
La route de Kaliviani est un chemin de terre bien pavé, avec une vue imprenable sur le bord de mer rocheux escarpé du côté est de la péninsule. La route se termine un à deux km avant la plage, et le visiteur peut suivre une route pavée jusqu'à Balos.