古北口 在早期并沒有長城,戰國和秦,漢時期的長城是從古北口以北很遠的地方經過的。北齊天保六年(公元555年)所修自西河(今陜西榆林河)至和山海關三千多里的長城從這里經過,古北口這一帶才有了長城。但是北齊長城比較低小,為土石所筑,現在遺跡已經不多了。唐代曾設東軍,北口二守提,金貞佑二年(公元1214年)在這里設過鐵門關。古北口成為一處雄關隘口,是從明朝開始的。
明朝初年把韃靼貴州統治者推翻之后,朱元璋卻派了徐達等來修筑居庸關、古北口、嘉峰口等處的城關,還封了他的第四個兒子朱棣為燕王,駐守北京。西北的居庸關、東北的古北口成了明王朝首都的兩個重要門戶。隆慶三年(公元1569年)明朝的政治家張居正為了加強防務,特別把著名的抗倭名將戚繼光、譚綸調來北方。譚綸任薊遼總督,戚繼光任薊鎮總兵。薊鎮所管轄的一千二百多里的長城,經戚繼光的精籌劃,親自督修,十數年之間便成了一道城墻高峙、墩臺林立,烽火臺相望的堅固防線。
古北口與居庸關東西對峙,是華北平原通往內蒙古草原的要道,自古稱為雄險,有"地扼襟喉趨溯漠,天留銷鑰枕雄關"之稱。據明朝嘉靖三十八年祝增所寫的一塊碑上說:古北口在畿輔"北京"東北二百里許,即唐朝時候幽州的虎白口,與諸民族為鄰,最為要害,國朝設衛置將,以為重鎮。凡是說天下之險要的,都要數這里。《密云縣志》上說:"京師北控邊塞,順天所屬以松亭、古北口、居庸三關為總要,而古北為尤沖"。