到了这年冬季，江陵驻军中的统制官率逢原纵容其部曲殴打当地百姓，辛弃疾上疏论奏此事，说明被殴打的百姓毫无罪过，全然是军人胡来，因而建议应该对横行的军人和统制官率逢原加以惩处。然而率逢原在朝廷上是有有力人物支撑着的，因此辛弃疾的奏章送达朝廷之后，不但其中的建议未被采纳，反而被南宋政府以帅守与驻军不能协同为理由，把辛弃疾调做隆兴府（今江西南昌市）知府兼江西安抚使了。在江西安抚使任上也没干多久，1178年暮春，辛弃疾又被召往杭州去做大理少卿去了。

每一个地方，每一个官位，都是这样匆匆来去，不但别人眼花缭乱，辛弃疾本人也深深感觉到转徙频繁之苦。因而当他要离开南昌而去杭州的时候，他禁不住把自己的感受写成了这么一首词《鹧鸪天·离豫章别司马汉章大监》：

聚散匆匆不偶然，二年历遍楚山川。但将痛饮酬风月，莫放离歌入管弦。

萦绿带，点青钱，东湖春水碧连天。明朝放我东归去，后夜相思月满船。

虽然如此，辛弃疾却不改一位事业家和爱国者的本色，他每到一地，对于一个地方长官的职分之事，不论是应兴之利还是应革之弊，他总是尽心尽力而为之的。不论到哪里，对于所部官吏中的精明能干的，他都及时加以荐举；对于其中贪污无能的，也都及时加以弹劾。这就是辛弃疾之为辛弃疾。

辛弃疾担任大江南北若干地方重镇的封疆大吏期间，干了一件值得他一辈子自豪的大事，这便是在湖南期间创建了威震大江南北、号称江上诸军之冠的“飞虎军”。

这件事情办得极不容易，它受到了南宋当权者的阻止和破坏，是有它的来龙去脉和曲折经过的。

辛弃疾生长于当时已经沦陷于敌人铁蹄之下的祖国北方，成年之后即起义抗金，旋即投归南宋。殊不知，他满腔热情而来，人家却几十年一直不信任他。对于像辛弃疾这样的由沦陷之地投归南宋的爱国者，临安小朝廷把他们统统蔑称之为“归正人”或“归明人”。最高统治集团对这般“归正人”是一直歧视的。而辛弃疾这个“归正人”却以其赤胆忠心与非凡才能，受到即位之初奋发有为一心要北伐中原的宋孝宗的赏识与重用，提拔他担任了多处州、郡、路、道的“方面大吏”。而他整个处世为人又极为刚方正直，在官场从来不避权要，这就使得最高统治集团中的某些人对他十分忌恨，感到难以容忍。辛弃疾南归宋几十年之所以在任何岗位上都不能久于其职，其重要原因之一就在于此。

辛弃疾的这种性格一辈子都没有改变。这次他虽“二年历遍楚山川”，朝廷居然还要他再去重游：淳熙五年（1178）的下半年，他从朝中大理少卿任上被调作荆湖北路转运副使；到了第二年三月，刚到湖北履新才半年多一点的他又被改作荆湖南路转运副使了。

从孝宗乾道元年（1165）以来，在湖南地区曾经连续爆发过好几次武装暴动事件。例如：1165年，郴州宜章县上万峒民曾起而反抗，一度攻占桂阳军城；1167年，湖南境内溪峒诸族亦曾武装起事；1175年起事于湖北的茶商军，也曾在湖南各地活动过；1179年初，有连州的李晞和郴州的陈峒为首的暴动，他们曾四出攻占过连州的阳山县城，道州的江华县城，桂阳军的蓝山、临武两县城；同年夏，广西陆川的李接又因赋敛太重而聚众起事。湖南地区发生的这一系列事件，使南宋最高统治者感到惊惶失措。