Historien om denne amerikanske villa begyndte med spøgelser. Opfinderen William Wirth Winchester, der døde i 1881, efterlod sin kone Sarah en enke, hvis barn tragisk døde 15 år tidligere. Kort efter Winchesters død gik enken til mediet, der kaldte sin afdøde mand ånd. Opfinderen af den legendariske "Winchester" sagde, at familien var forbandet, fordi hans opfindelse krævede tusinder af liv på planeten. En mand fra den anden verden beordrede sin kone til at forlade og begynde at bygge et hus i en anden stat, mens så snart byggeriet er overstået, vil Sarah dø.
Enken, der troede på mediet, flyttede til Californien by San Jose og begyndte at bygge et nyt hus her, heldigvis skulle hendes mands besparelser have været nok i lang tid. Fra 11884 til 1922 arbejdede bygherrer dagligt på huset, som endte med 160 værelser og lignede mere som en labyrint. Faktum er, at Sarah i et forsøg på at udvide konstruktionen tvang arbejderne til at udføre ulogisk og simpelthen nytteløst arbejde, for eksempel trapper, der hviler mod loftet eller murede vinduer. I 1922 blev byggeriet afsluttet, og få dage senere døde Sarah.
Rygter siger, at ånderne til mennesker dræbt fra Winchester bor i palæet i dag, og der er også en legende om, at den, der kommer ind i huset, aldrig vil forlade det.