Kammerberg liegt an einem leicht nach Norden ansteigenden Hügel. Die Ost-West verlaufende Hauptstraße teilt sich ausserorts in die in vier Himmelsrichtungen führenden Ortsverbindungsstraßen. In der Dorfmitte mündet von Süden die Kirchstraße mit der alten Lindenallee ein. Besonders einprägsam ist die Kirche, das Gasthaus mit den gegenüberliegenden Kastanien, die gerade neu renovierte alte Schule mit dem Kindergarten und das gut eingewachsene, im Wiesengrund liegende Schloß. Kammerberg wird erstmals zwischen 1006 und 1029 urkundlich "Perga" genannt. 1315 heißt dieser Ort "Chamerberch". Er stand in enger familiärer Beziehung zu Hohenkammer. Die Familienmitglieder der "Chammerberger" dienten vom 13. bis zum 15. Jahrhundert den bayerischen Herzögen als Ministerialen und waren vor allem als Richter und Pfleger tätig. Kammerberg war eine bayerische Hofmark, die zum Landgericht Kranzberg gehörte.
Das Schloss (im 17./18. Jhd. erbaut) war ursprünglich eine Vierflügelanlage und wurde mehrfach umgestaltet (Südflügel nach 1828 klassizistisch umgestaltet, Westflügel 1790 neu erbaut). Es ist heute von einem Wassergraben umgeben. Seit 1826 leben im Schloss die Freiherrn von Vequel-Westernach. Kammerberg war vor der Gebietsreform eine selbstständige Gemeinde im Landkreis Freising.