De hier wonende reders vertrokken naar Zierikzee. Omstreeks 1450 is onder Philips van Bourgondië nog geprobeerd de zaak te redden. Hij beveelt in een brief om zo spoedig mogelijk de waterlozing te doen schoonmaken "zo verre alst dorp Westenschouwen streckt ende voir die sluys in zulcker wijs in de diepte als die van outs pleech te wesen." Vermoedelijk sloot deze sluis (in 1296 de nieuwe sluis) de waterloop (Westdee?) af die door de duinen kwam en in de richting van Burgh liep. Aan dit water moet de haven gelegen hebben.
In 1511 werd een groot gebied aan de zuidwestzijde van Schouwen buiten gedijkt. Hierdoor vond een belangrijke stroomverlegging voor de kust plaats met het gevolg dat de duinenrij aangetast werd en zich in de 16e eeuw sterk landinwaarts verplaatste. De toren werd in 1846 afgebroken. Deze stond op plm. 40 meter afstand zuidoostelijk van het tegenwoordige restaurant "De Schouwse Pot". Die plaats, het voormalig boerenerf van gebr. Van de Zande, wordt nog "Het Kerkhof" genoemd. In de laatste helft van de 19de eeuw was het bouwland. Als er eerder een kerk met toren is geweest, moet die zeker ter hoogte van het strand hebben gestaan, waar ook nu nog resten van het oude Westenschouwen zijn te vinden. Romeinse muntvondsten daar, daterend van 54 tot 273 na Chr. en o.a. Karolingische munten wijzen op hoge ouderdom. De legende van de meermin moet dus ouder zijn dan 1845, want de toren zou volgens het verhaal blijven staan. Deze eenvoudige conclusie kan getrokken worden uit de legende van Westenschouwen, die ik "de legende van het misverstand" zou willen noemen, want nu wordt de Koudekerkse plompe toren aangezien voor het bouwwerk dat zou blijven staan.

Voor 1816 was het pand dus tevens gemeentehuis, het moet dan ook gezien worden als het belangrijkste en behorend tot de oudste huizen van Westenschouwen. Het is aan te nemen, dat op deze plaats zo dicht bij de voormalige kerk ten minste 600 jaar bebouwing is geweest. Aan de stijl te zien kan 1725 als bouwtijd worden aangenomen, evenals voor het bijna identieke belendende huis. Met de veranderingen na de Franse revolutie werd op 10 juni 1796 in de rechtkamer de eed van "getrouwheid" aan de toen geldende "orde van zaken" afgelegd. De schepenen Job Roedoe, Hendrik Braber, Cente Boot en de gerechtsbode Job Adriaan van Sluis (bewoner van de herberg) weigerden echter de eed af te leggen.
Na de oorlog kwam het restaurant pas goed op gang. De dames Van de Zande maakten naam met hun gerenommeerde keuken. Vele voorname gasten uit binnen- en buitenland verbleven in Hotel Restaurant “Westenschouwens Welvaren”. De naam Van de Zande kenden vele gasten nauwelijks, alleen de voornamen waren hen des te bekender. In een Zierikzeese winkel vroeg Prinses Irene eens waar het restaurant van Kaatje en Kootje was. In 1971 meenden de dames van hun welverdiende rust te moeten gaan genieten. Ze verkochten hun bedrijf aan de familie Hoeneveld. Deze verbouwden de zaak grondig en er werd een modern café-restaurant met dito keuken van gemaakt. Sinds 1 januari 1978 is het geen hotel meer. Nadat Harrie Dikmans er in de eerste helft van de negentiger jaren de scepter zwaaide en samen met zijn vrouw Paula op de Westenschouwenseweg een drietal horecazaken had gevestigd, werd op 1 december 1996 het restaurant verkocht aan de Fam Ginjaar. Na 9 jaar het gezicht te zijn geweest van restaurant De Schouwse Pot heeft de Fam Ginjaar nu het restaurant verkocht aan de huidige eigenaren de André en Ingrid Kooman.
Tot op de dag van vandaag wordt hier de al eeuwenoude traditie van gastvrijheid en gemoedelijkheid, maar ook kwaliteit gehandhaafd.