在宋太平兴国四年(979)，杨业任代州刺史兼三交驻泊兵马都部署以后，曾多次以少胜多，大败辽兵，当时人们誉杨业为“杨无敌“。

雍熙三年(96)，在雁门附近的战斗中，杨业陷入重困，最后士卒全部覆没，在朔州的陈家谷他自己身负重伤为辽兵所执，宁死不屈，终至绝食为国。

后经五代十国、宋、辽、金、元约四百余载。

元朝设千户所，关城被毁。[23]

明代吉安侯陆享于洪武七年(1374)自监民工筑新关于旧关东北十里处的要道。南距代城县四十余里，北邻广武古城二十一里，地势更为险要。

明清以后，关城虽屡有重建。但随着中国民族统一国家疆域的逐步形成，内长城作为“内边“的作用已经失去，所属的雁门雄关也随之荒废。关城仅在东门、西门、小北门三个门洞和靖边寺前的一对石狮，一副石旗杆，明镌李牧碑石一块，以及寺后的数株青松。