辛弃疾的屡遭贬斥的生涯是从淳熙八年(1181年)冬开始的,这一年,他已经四十二岁。刚被调任浙西路提点刑狱公事,还没有完全熟悉工作,就遭到了台臣的弹劾,弹劾理由是:“用钱如泥沙,杀人如草芥。”在许多呈送上来的证据面前,辛弃疾没有辩解,被孝宗皇帝指责贪得无厌,挪用官钱,“凭陵上司,缔结同类,愤形中外之士,怨积江湖之民”后,将他罢官。
被贬后,辛弃疾归隐于江西信州(今上饶)带湖,过起了躬耕陇亩、垂钓水滨的生活,并给自己取号为稼轩。意思是想要丰衣足食,就要自己动手。在这段时间里,辛弃疾始终不能忘记的一件事仍旧是恢复中原。直到十一年后的绍熙三年(1192年),五十三岁的辛弃疾才被起用为福建提点刑狱。
可是,两年后,谏官黄艾又弹劾他“残酷贪饕,好赃狼藉”,而且朝廷下令不许他为自己辩解,卷行李走人。不过,朝廷也不是那么霸道,不让他辩解,当然会轻判,让他去主管建宁府武夷山冲佑观。就是这样一个小官,在一年后,也被御史中丞何澹弹劾,弹劾原因仍旧是“残酷贪饕,奸赃狼藉”。辛弃疾不做任何辩解,而是跑到江西铅山县期思市瓜山,住了八年。
接下来就是嘉泰三年(1203年)夏天,六十四岁的他才被起用为知绍兴府兼浙江东路安抚使。不过一年后,他再次被贬,开禧元年(1205年)六月,他任隆兴府(今江西南昌),刚到任一个月,有人就诬陷他“好色贪财,淫刑聚敛”,被免职提举冲佑观。