宪宗皇帝开始重新重视余子俊的提议，余子俊也趁势再次上疏："欲于明年摘取陕西运粮军民五万，免徭给粮，备加优恤，急乘春夏之交，虏马疲弱不能入寇之时，相度山界，铲削如墙。"他特别指出，倘若蒙古人不渡黄河北去，帝国的各项边防耗费将永无终止，因此，修筑长城已成燃眉之急。

宪宗皇帝最终力排众议，允许余子俊的工程立即上马。按余子俊的设计，该长城计划是从依托横山山脉的走向，从东北方向的黄河边向西南修一道城墙，直抵紧靠定边西边的花马池营，全长"一千七百七十里一百二十三步"，这一千七百多里的城墙包括"守护壕墙崖寨八百一十九座，守护壕墙小墩七十八座，边墩一十五座"。在城墙的内侧，余子俊还铲山添壑，修造了一条和城墙平行的"夹道"，以利兵马运动，策应捷便。余子俊的工程完工后，此地驻扎着"原额马步官军八万一百九十六员名，除节年逃故外，实有官军五万一千六百一十一员名。原额马四万五千九百四十匹，除节年倒失外，实有马二万七千八百五十一匹。"当朝有一位官员后来考察这项工程后曾上疏说，边墙、壕堑都是余子俊修浚完固的，"北虏知不能侵犯，遂不入套者二十余年"。

据史料记载，这条全长一千七百多里的延绥长城，余子俊仅"役军四万人，不三月而成"。完工后，余子俊立即就上书皇帝"因母老乞归"，宪宗"慰留不许"。余子俊这个时候最想做的事情就是好好休息一下，而根本不管皇帝是否封赏之事了。

延绥长城在不久后的作用就展现出来。当蒙古军队来到延绥河西清水营一线时，明朝在前方监督军务的太监汪直和前敌统帅总兵王越的调兵抵御下，大获全胜。这是明军在防御战中取得了少有的一次大胜仗，明史给出了原因："盖由尚书余子俊铲削边墙，虏人为官军所逐，漫散而不得出路故也然。"

此时的余子俊已经由兵部尚书转为户部尚书，边防建设已经不关他的事情了。但他仍旧对长城保持着高度的热情。他在帝国取得这场胜利不久，就上书朝廷，建议重修黄河东岸至山海关长城，他把这段长城起名为"宣大长城"，设计一千三百余里，在旧墩一百七十处基础上再增筑四百四十墩，墩高三丈，役八万六千人施工，余子俊向皇帝保证，几月内就可以完工。

倘若这一项国防工事得以建设，明帝国的北部边防将无懈可击。但是，余子俊似乎过于乐观了。在得到宪宗皇帝的允许后，他并没有亲自督促此事，而是让边将全权负责。帝国的边将并不全是余子俊，肯为帝国出一切力而不求回报。在动工过程中，边将越来越感觉到经济压力。他们集体抗议，认为这是不可能完成的任务。余子俊的工作受到下属质疑的同时，他的同僚也开始骚动起来。