Der Kleine Wannsee ist im Süden des Berliner Bezirkes Steglitz-Zehlendorf südwestlich von der Wannseebrücke gelegen. Als Bestandteil des Griebnitzkanals stellt er die Verbindung zwischen dem Großen Wannsee und dem Pohlesee dar. Er wird zum Pohlesee hin durch die Halbinsel Wehrhorn abgegrenzt. Das Wasser fließt vom Teltowkanal über den Kleinen Wannsee in den Großen Wannsee.