Villa Skansen byggdes 1894 av den danske skådespelaren Emil Poulsen på mark han köpt av vännen Vilhelmine Heise. Villan uppfördes intill där den idag bevarade försvarsskansen låg.
Poulsen bodde i Villa Skansen med sin familj på somrar och högtider fram till 1908, då han blev sjuk och hade svårt att längre resa över till Sverige. Huset och marken såldes då tillbaka till Heise, som under sina sista år i livet öppnade huset för lungsjuka barn från Köpenhamn. Tidigare hade barnen under sommarmånaderna fått bo i Gammelgården under tillsyn av en enögd gammal dam.
Sedan Vilhelmina Heise avlidit 1912 och Christoffer Hage övertagit Rydebäcks gård var Villa Skansen under många år arbetarbostad. På 1950-talet fanns där ett café, och fram mot 1960-talet hyrdes den ut till sommargäster. Efter att byggföretagen köpt upp Rydebäcks gårds ägor 1963 stod Villa Skansen öde tills den revs i början av 1980.