《永平府志》记载，榆木岭口“四峰对峙极尖秀，东西相距40余丈，城倚关下，关外地势稍阔，石径纡徊不通辙迹，然马可并辔行其东”。榆木岭口内关城“石筑，高一丈五尺，周一百四十七丈三尺，西、南各一门，教场在城南。”现今关城仅存南门及部分墙体。南门口呈拱券形，用青砖垒砌，宽1.3 米，进深1.4米，高2米，1.2米起券。门洞现存宽度1.89米，高2.6米，1.6米起券，深2.6米，门两侧有门栓。北半部全部坍塌。设南北二门，城南有校军场和点将台，明清时有外委把守，建制约400人。明万历三年，朵颜部进犯中原，民族英雄戚继光率部从榆木岭出关阻击来犯之敌大获全胜并活捉敌部首领长秃。
