Troligen började det hela med ett stenhus på ön Gamla Djursholm, uppfört av Nils Jönsson Oxenstierna på 1400-talet. Cirka hundra år senare tog ätten Banér över och på 1600-talet fick slottet till nuvarande utseende av Svante Gustavsson Banér. Flera restaureringar har skett, den senaste under 1960-talet under ledning av arkitekten Klas Fåhraeus.

Slottet innehåller idag lokaler för Danderyds kommun men kan även hyras för fester. Tyvärr finns det inga allmänna besökstider för slottet idag.

Villa Pauli är en sk högreståndsvilla ritad av arkitekt Ragnar Östberg och blev färdigbyggt 1907. Albert och Anna Pauli har gett villan dess namn. Pengarna till bygget av villan kom från ett arv efter frun Annas far som blivit förmögen efter finansiering av bland annat Nobels Nitroglycerinbolag. Byggnaden har utsmyckningar av bland annat Carl Eldh och Alberts bror konstnären Georg Pauli. Villan är idag k-märkt och medlemsklubb med konferenshotell och gourmetrestaurang samt har en mycket populär festvåning för snart sagt alla djursholmares bröllop.

Slottet har ägts av många genom åren och dess historia sträcker sig till tillbaka till 1200-talet då det var ett säte för Tyska Orden. Bland andra har Aftonbladets grundare Lars Johan Hierta ägt slottet under en tid och här växte även Fredrika Bremer upp och hennes badrum finns bevarat. Vem som började uppföra slottet är inte helt styrkt, men ibland nämns Barbro Åkesdotter Natt och Dag, hustru till Klas Hansson Bielkenstierna.