早在姚世安之前，指挥利州军的都统王夔便是一个抗敌无能、扰民有术的军阀，人送外号“王夜叉”。余　前往他的防区视察，王夔派出由两百名老弱病残组成的仪仗队表示“欢迎”。余　用开玩笑的口吻说：“一直听说王都统麾下兵强马壮，想不到疲敝若此，真是闻名不如见面啊！”王夔却答道：“不是我的部队不行，只是怕吓着您老人家！”于是一声呼哨，四周顿时鼓声如雷，伏兵四起。余　的随从都吓得面无人色，唯有余　依然谈笑自若，让部下赏赐前来“迎接”的利州军将士。这倒令王夔有些下不了台，后来他私下里对部下说：“原来士大夫中也有这样的人！”

姚世安是利州军内混了多年的老兵油子，他的前任退休之前自说自话地将利州军司令的位置传给了他。这种私相授受的行为当然不能得到余　的允许，亲自派出三千骑兵前往云顶山（利州军司令部所在地），准备以武力护送自己人上山接管指挥权。但姚世安“闭关不纳”。姚世安如此有恃无恐，因为他的确有制衡余　的本钱，那就是“上面有人”。新任首相谢方叔是四川威州（今四川省理县东北）人士，他的亲属在战乱中全部沦为了难民，姚世安当时对谢方叔家族颇为照顾。此刻他便利用这条人脉，向临安方面求援。

谢方叔是监察御史出身，弹劾大臣的工作本来就驾轻就熟，于是很快在政府中枢掀起了一股攻击余　的浪潮，大肆弹劾他跟蒙古人打仗军费开支很大，赋税没有以前交得多，反要朝廷补贴，而且也吃了些败仗……宋理宗赵昀开始时甚至亲自为余　辩护：“余　上任之初的局面大家都清楚，他经营四川八年，一再击退蒙古军队的入侵。这些成绩还是要肯定的！”但是当谢方叔和他的朋党祭起“大权独揽、不知事君之礼”这条罪状时，宋理宗赵昀终于坐不住了。毕竟有宋一代栽在这一条上的名将比比皆是，岳飞死在这个罪名上，孟珙也死在这个罪名上，余　当然也无法幸免。宋理宗赵昀听取了徐清叟的意见，向余　发出召回的指令。这种召回无疑是一把双刃剑，如果余　奉诏返回，那么等待他的将是谢方叔为首的文官系统的弹劾，如果他拒绝，那么就是抗旨不遵，大可以就地免职。不过余　最终以另一种激烈而又直接的方式回应了所有的怀疑和指责——“一夕暴卒”。余　死于1253年，关于余　的死因，一直说法不一。一说他本来就在生病，听说这事就给气死了；还有一个说法是，余　是给毒死的。