Slottet har ägts av många genom åren och dess historia sträcker sig till tillbaka till 1200-talet då det var ett säte för Tyska Orden. Bland andra har Aftonbladets grundare Lars Johan Hierta ägt slottet under en tid och här växte även Fredrika Bremer upp och hennes badrum finns bevarat. Vem som började uppföra slottet är inte helt styrkt, men ibland nämns Barbro Åkesdotter Natt och Dag, hustru till Klas Hansson Bielkenstierna.
