Octagon Mansion blev bygget i 1798 og lå oprindeligt blandt marker og skove. I dag står den allerede i centrum af et moderigtigt boligområde på hjørnet af 118th Street og New York Avenue. Den første ejer af strukturen var oberst Tayloe, der brugte den som et byhus i Washington. Husets historie er fyldt op og ned med rapporter om spøgelser og spøgelser inden for dets mure. Det vigtigste sted for akkumulering af "spøgelseshændelser" er trappen. Siden 1850'erne hævdede mange øjenvidner, der ankom 1. eller 3. sal, at de hørte menneskelige skridt på anden sal (hvor der ikke var nogen), en trist kvindestemme, observerede uforståelige skygger der og følte en tilstedeværelse der noget usynligt.
Ofte i huset var der også problemer med belysning og sandsynligvis hørbare trin i ikke-beboede lokaler. Overbyggeren til palæet var mange gange ikke tilfreds med det faktum, at han fandt dørene åbne næsten umiddelbart efter, at han personligt låste dem, og lyset var tændt, efter at han slukkede det med sin egen hånd.
En sag fik stor omtale, da politiet ringede til opsigter midt om natten og sagde, at lysene var tændt i huset. Mr. K. måtte pakke sammen og køre til palæet for at gå ned i kælderen og slukke for lyset. Da han ankom i husets kælder, hørte manden tydeligt nogens fodspor på stedet for palæet, hvor han gik lige for et minut siden. I fuldstændig rædsel løb manden ud ad trappen, men han så ikke nogen der. Museets vicevært husker også, at når hun arbejdede på anden sal, hørte hun mere end en gang trin på tredje sal, som var helt øde og lukket. En dag besluttede hun sig for nøje at kontrollere, hvad der skete på den etage, og da hun gik derop, fandt hun flere lette spor på det støvede gulv. De var så lette, at et menneskeligt ben tydeligt ikke kunne forlade dem. Sådanne sporifølge kvinden kunne kun en næsten vægtløs pige forlade.