Northeim befindet sich im Süden Niedersachsens im Niedersächsischen Bergland und liegt an den äußersten Südwestausläufern des Harzes sowie einige Kilometer östlich des Sollings. Die Stadt liegt etwa 20 Kilometer nördlich der Großstadt Göttingen und erstreckt sich entlang des 10. Grades östlicher Länge. Auf der Breite Straße, der Haupteinkaufsstraße in Northeim, ist dieser Längengrad durch weiße Pflastersteine markiert. Die Stadt wird von der Rhume durchzogen, die einen Rhumekanal durch das Stadtzentrum führt. Dieser Kanal wurde einst angelegt, um die Northeimer Mühle zu betreiben. In der Nähe der B-241-Brücke mündet die Dünne, ein weiterer Fluss, der durch Langenholtensen fließt, in die Rhume. Westlich der Stadt verläuft die Leine in Süd-Nord-Richtung und mündet die Rhume 4,5 km nordwestlich des Stadtkerns in die Leine. Zusätzlich münden von Westen kommende Moore in die Leine.