Två kilometer söder om nuvarande Fogelvik och nära vägen mot Kvädö ligger ruinerna efter den medeltida riddarborgen Fogelvik, som omtalas som "Fogelviks torn" 1419. Lämningar finns efter borgens fasta hus, ett stentorn som varit uppfört till tre eller fyra våningars höjd, samt grunder efter enklare träbyggnader, källare och en i sluttningen ingrävd, skyddad hamn. Hela anläggningen var på den tiden omfluten av saltsjön och en grävd vallgrav. På andra sidan vallgraven låg troligen en trädgård och diverse ekonomibyggnader. På 1400-talet residerade här bl a Karl Knutsson Bonde, konung tre gånger under den tid Sverige fortfarande var ett valrike. På äldre dagar drömmer han sig tillbaka på sin unika levnadsbana, enligt den bekanta krönikestrofen på följande sätt:

Medan jag var herre till Fogelvik

var jag både mäktig och rik

men sedan jag blev konung i Svea och Göta land

var jag en arm och olyckelig man.

År 1542 brändes borgen ner till grunden av Dackes folk. Eventuellt byggdes den upp igen på samma ställe, eller flyttades redan då till sin nuvarande plats. Strax söder om borgruinen och bäcken utmed Kvädövägen finns en vacker och ovanlig eneskog intill den betade strandängen med rikt fågelliv.