赵襄子见形势于己不利，决定退守以避敌锋芒。但是，退到哪里去呢？臣下建议，长子（今山西长子）城垣厚实，修整完好，距离不远，可以据守。襄子说：“民罢（疲）力以完之，又毙死以守之，其谁与我？”他认为当地人民修缮城池已经疲惫不堪，如果在那里死守，恐怕民心不稳。又有人建议退到邯郸（今河北邯郸市），那里仓库充实。襄子说：“浚民之膏泽以实之，又因而杀之，其谁与我？”仓库充实是因为搜刮民脂民膏，当地人民被剥夺压榨已苦不堪言，再让人家浴血守城，怎么会与自己同心协力？他最后决定：“其晋阳（今太原市南晋源镇一带）乎！先主之所属（嘱）也，尹铎之所宽也，民必和矣。”

晋阳是赵氏经营多年的根据地，以前邯郸叛乱时，范、中行氏支持叛者，赵简子就曾退保晋阳。襄子所说“尹铎之所宽”，指的是赵氏对晋阳地区有特殊的优惠政策。当初赵简子派尹铎治理晋阳，尹铎就专门请示过，在晋阳是为赵氏输送财赋呢，还是建立稳固的根据地？简子明确肯定是后者。因而尹铎减少了上交赋税的户数，大大减少了实际上的征收税额，民众得到实惠。襄子所谓“先主之所属”，是先主赵简子特别嘱咐过襄子：“晋国有难，而无以尹铎为少，无以晋阳为远，必以为归。”晋阳就是为了防备不测而经营的，名义上收取的财赋虽少，却是最为可靠的固守壁垒。所以襄子认为只有晋阳的民心可用，撤退到了晋阳。

襄子巡视晋阳一周，见城池坚固，府库充实，仓廪丰盈，只是缺乏御敌所用的箭矢。张孟谈告诉他，早年董安于修建晋阳时，深谋远虑，建筑宫室墙垣的材料都可以用来造箭杆，铜铸的柱础可以用来造箭镞。于是一切齐备，严阵以待三家来犯。