这时候东路宋军的当面之敌，就是大辽名将耶律休哥。耶律休哥的队伍人数并不多，他便避免与宋军决战，只是在夜里派轻骑骚扰宋军，白天以精锐部队列阵，威吓宋军，搅得宋军筋疲力尽。

宋军因为粮食不继，在白沟迟滞了一个月才继续北进。就在拖延的这一个月里，攻辽的黄花菜可说是彻底凉了！一是宋军士气大不如前；时值天气炎热，将士体力消耗大，渴了连水都没得喝，到达涿州时全军已疲乏不堪。二是萧太后亲统援军从幽州赶来，进至涿州以东的驼罗口，夺回了固安，辽军的兵势大大超过宋军。

曹彬见粮草将尽，在涿州根本没法固守，而野战的话，又怕被辽军主力合围，便急忙下令，冒雨撤军。

可是萧太后怎么能让你们跑掉？她派出精锐骑兵，在大雨中紧追不舍，终于在岐沟关追上宋军，一古脑的包了饺子。曹彬、米信各率亲随奋力突围而去。抛下那可怜的十万宋军，溃散奔逃，一直被追至拒马河，死伤无数。

另外还有好几万宋军作为后援集结在沙河边，此时也都得了"恐辽症"，听说辽军来了，都望风而逃，光是自相践踏和掉进河里的，就死了过半，岸上遗弃的兵甲堆积如山。

东路主力这一败，仗就没法打了，宋太宗只好叫各路都撤兵。其中要求西路军退回代州（今山西代县），并护送云、朔、寰、应四州民户南迁。

但辽军可不会让他们就这么轻松地退走。萧太后和大臣耶律斜轸等，率领精锐十余万人来攻；到六月，夺回了寰州（在今山西朔县东）。

这下西路的宋军犯难了：强敌逼近，寰州丢了，余下三州的老百姓怎么迁移？尤其朔州当敌，想平平安安转移老百姓，更为不易。杨业向潘美、王侁等人建议说：辽军势大，不可与战，可密告云州、朔州守将作出攻击寰州的样子，我军也前进至应州（今山西应县），辽军必然全军赶来决战。此时朔州（今属山西）吏民就可趁机直入石碣谷，再派强弩手千人封锁谷口，以骑兵在半途接应，则三州之众可安然撤回内地。

这是好主意，但遭到监军王侁的反对。王侁主张，列出堂堂正正之阵，去朔州接应百姓，有几万精兵在手，还怕他辽军不成？他还对杨业说："你素号无敌，今见敌而逗留不战，岂非有他志？"

他这话说得十分恶毒，因为杨业是北汉降将，"岂非有他志"是暗讽杨业又想投降。杨业受不了这个，负气决定冒险出征。他流着泪对潘美说："今诸位责我避敌，我当先死于敌！"临行前，他要求潘美等人率军在陈家谷口（今宁武北）接应。