De vestingtoren is in de 15de eeuw gebouwd ter bewaking van de haven. Volgens overlevering is de toren een van de oudste herbergen van Nderland, waar in de 16de eeuw Willem van Oranje regelmatig te gast was. Destijds zag men door het Veerse Gat schepen vertrekken naar Oost- en West-Indië. Schotse wolhandelaren moeten er destijds af en aan hebben gelopen hebben.
Het complex bestaat uit een vestingtoren met twee vleugels die in een rechte hoek op elkaar aansluiten. De halfronde toren steekt uit boven het water van het Veerse Meer. Het metselwerk is verlevendigd met brede speklagen van witte natuursteen, wat het gebouw een markante uitstraling geeft.
In de toren voert een stenen trap op naar de gelagkamer op de eerste verdieping. Dit was de ruimte in de herberg waar gasten vroeger samenkwamen om te drinken en te verblijven. Deze ruimte was vroeger voorzien van twee grote schouwen, waarvan er één over is. Het hebben van twee schouwen was noodzakelijk, omdat bij harde wind, afhankelijk van de windrichting, steeds één schouw onbruikbaar was. Vanuit de gelagkamer bereikt men via een eikenhouten trap de torenkamer, vanwaar men een prachtig uitzicht heeft over het Veerse Meer.
Aan de stadszijde heeft de toren een vlakke gevel die wordt bekroond door een trapgevel met zeer hoog opgemetselde, stervormige pinakels. Alleen aan deze zijde bezat de toren in de oude situatie vensters. De ramen aan de waterkant werden ingebroken op het moment dat het gebouw als herberg in gebruik werd genomen. De korte vleugel ligt parallel aan de oude haven. Op de begane grond is een poort die toegang gaf tot de kade langs het water. De lange vleugel is omstreeks 1700 aangebouwd tegen de binnenzijde van de stadsmuur en bevat hotelkamers.
Voor meer informatie zie Jaarverslag Vereniging Hendrick de Keyser 87 (2005), pp. 10-12.
