Das von den Architekten Kayser & von Groszheim 1884/85 erbaute Haus in Wannsee, Am Sandwerder 5, ist seit 1962 Sitz des Literarischen Colloquiums. Wie alle "alten" Häuser hat es eine bewegte Vergangenheit. 1874 sind die ersten Häuser in der "Villenkolonie Wannsee" erbaut worden. Die Haveldüne (das Gelände fällt 25 m zum Ufer ab) gehörte bis zum Verkauf zu den Besitztümern des Prinzen Friedrich Karl von Preußen (1828-1885). Um 1896 wurde die Straße, die an der Haveldüne entlang führte, zur Friedrich-Karl-Straße, 1933 umbenannt in "Am Sandwerder" (alter Name der Insel Schwanenwerder).