Vägen dit är ganska lik en grusväg som blivit asfalterad för att man skall åka ståndsmässigt. Här ekar historien. Harpsund har lång historia från 1300-talet då Bo Jonsson Grip var ägare men på 1600-talet byggde gården på sin nuvarande plats vid norra delen av sjön. Flygelbyggnaderna är från denna tid men själva huvudbyggnaden är byggd så sent som 1914.
Från början en medeltida borg, på 1600-talet brann den ner och återuppfördes inte förrän i början på 1900-talet. I samband med att Gustav Vasa valdes till kung den 6 juni 1523 gjorde han en del förbättringar och lät bland annat bygga ett nytt kanontorn. 1568 byggdes den medeltida borgen till ett imponerande renässansslott. Många kungligheter har fötts och avlidit på Nyköpings slott, som tidvis ansågs vara Sveriges huvudstad. Kung Karl X Gustav är en av dem som fötts på slottet som idag är ett museum.