在他同僚眼中，余子俊近年来出了太多的风头，可谓青云直上。当然，在对他指责的同僚中，有些人的意见的确中肯，建设长城有利有弊，利的一方面已经得到验证，但弊端也不可轻视，那就是征集民工和钱财上面，倘若没有余子俊这样高尚风格一心为公的人以身作则亲自督促，这样的工程无疑是得不偿失的。

朝廷中开始流言蜚语，有人认为余子俊所以屡提建设长城的工程，是因为想从中获取暴利，也有人说，余子俊是在用国家的钱为自己博得民心与名声。

这样的议论越来越多，最后便发展成书面材料摆在了宪宗皇帝的面前。宪宗皇帝看了所有的材料和听了许多流言后，对余子俊突然深恶痛绝起来。就在这个时候，一个叫韦敬的宦官站了出来。他向宪宗皇帝进谗言，说余子俊"假修边多侵耗"，又说他"私恩怨，易将帅"。由于史料缺乏，我们不得而知韦敬的来历和他为什么要扔石头砸已经落在井中的余子俊的原因。或许是他收了那些嫉恨余子俊朝臣的钱，又或许是，在皇帝身边总要曲意逢迎，他见到宪宗皇帝已经不喜欢余子俊，就落井下石，给宪宗惩治余子俊在心理上一个安慰与支持。

总之，他的确向余子俊扔出了一块足以让余子俊停止呼吸的石头。宪宗皇帝令工部侍郎杜谦调查余子俊。杜谦的品德可圈可点，并且很有见识，他认为余子俊不会有这么多道德瑕疵与违纪行为。在调查多日后，他交给了宪宗皇帝一份报告。报告中指出了韦敬扔的那两块石头纯粹就是诬陷。第一：余子俊的确有易置边将的行为，但却不是个人恩怨；第二：余子俊对修筑长城的费用分文未入私囊。

不过，杜谦虽然给余子俊还清白，却不能不给余子俊以罪名，那就是他征集的工程费用和粮食都大大超出了皇帝的仁人爱物之心，所以，有罪。

宪宗皇帝虽然没有捉到余子俊的那两个罪名，但这个罪名就足以让他有理由治余子俊的罪。他勒令余子俊退休。可见，余子俊之所以被驱逐出朝廷，就是因为韦敬的那块石头。

如果不是韦敬的那块石头，宪宗皇帝不会下令追查此事。那么，余子俊征集工程费与粮食超标的问题也不会暴露在光天化日之下。韦敬落井下石的诬陷所以能取得效果，是因为跟余子俊的工作有关。余子俊为大明帝国修筑长城，以巩固国防，在一些人眼中，这样的工作是大有可赚的。而余子俊在工作过程中为了完成工作难免要有些小瑕疵，这样的小瑕疵在诬陷者的眼中就很容易被放大成为劣迹斑斑。但余子俊又不是那种避嫌而放弃为国效力的人，所以，他的被诬陷也就不可避免了。