无论外力是否可借，他也不稍加利用，英美、苏联、日本都曾想支持他，他都拒绝了。当吴在最潦倒落魄的时候，日本第一遣外舰队总司令荒城二郎少将，海军驻沪特务机关长佐藤秀大佐率将佐十五六人由宜昌乘小型舰到白帝城，专诚拜访落魄的吴大帅，表示：一、愿供给私人借款一百万；二、愿赠步枪十万支，小炮五百门，机关枪二千挺连同弹药，由小型舰艇运来白帝城。这对于有意东山再起的人自然是一个大诱惑。可是对吴佩孚这位硬汉，则毫不起作用。吴义正词严地对日本人说：“过去我有枪不止十万，有钱不止百万，尚且一败涂地，可见成败是不在于枪炮和金钱，我如果愿意借外债，引外援，何必待到今日？中国事应该由中国人自了。贵国贵官的盛意我是不会承受的。”
　　
　　这个一根筋式的儒将呼吁过“国民大会”。他初登政坛就主张，立即举行“国民大会”——今后所有国事，悉由国民大会定夺！国民大会的代表由农、工、商、学四界组成，自下而上推选，由省至中央，这便是国家最高权力机构。似乎吴佩孚把民众的福祉放在心头，但他对芸芸众生的命运不屑一顾。1921年与湘军打仗时竟下令掘开簰州的长江大堤，致使许多无辜百姓葬身鱼腹；1923年 2月，京汉铁路工人为了争取自由、人权举行大罢工，他残酷地镇压，制造了著名的“二?七”大惨案。
　　
　　吴的失势使得墙倒众人推。他与南方为敌，北方的军阀无他容身之地。只好带部下入川，那个过程九死一生。尤其是张其锽之死以及偷渡襄河的枪战，使得跟随他的夫人张氏印象恐怖，当时有投襄河自尽之意，经吴佩孚百般劝阻，其意始解。此后跋涉穷乡僻壤，吴虽泰然，但有内顾之忧。据说，张氏夫人曾一再向吴表示，受不了这种担惊受怕的日子，纵不求死，但愿削发为尼。且劝吴从此下野，不问世事，入名山为僧以保余年，泪随声下，吴亦为之动容。吴的感慨可从他两句诗中道出：“生死两难悲末路，夫妻垂老泣牛衣。”
　　
　　但他的个性丝毫不改。1927年 5月 27日，他率卫队逃去四川经河南邓县构林关时，受到当地头面人物的热情款待。面对满桌酒肉，他却说：“免了吧，战火连绵，百姓不得温饱，我们还要这么多菜干什么？”只留下四个小菜，其余全叫人撤下。地方士绅纷纷前来求字求诗，他即席撰写了多首（副）诗联。在赠给乡绅杨星如的诗中，有“天落泪时人落泪，哭声高处歌声高。世人漫道民生苦，苦害生民是尔曹”之句，仿佛他跟军阀属于两类人似的。在土匪军阀的围追堵截中，吴佩孚的亲信卫队死伤惨重。他只能从鄂北的小路入川。当时杨森部已由宜昌退巴东，吴乃选择取道保康、秭归、兴山入川，这是一条荒僻山路，除了土匪，人迹罕到，有时无路可走，须从这座山头翻到那座山头，仰攀俯爬，艰难有如三国时邓艾偷渡阴平，有时以草根树皮果腹。蜀道难于上青天，吴佩孚这时可说是已经亲身经历了。他到四川发表了不问世事、表明心迹的通电：“万县杨惠弟鉴：举世滔滔，乱靡有届，欲资游憩，名胜为宜。因念蜀中山水，半属旧游，而蜀中将士又皆旧雨，业于号日间道抵夔，暂憩此间，专事徜徉，不闻理乱。甫澄、积之、晋康、自干、德祥、颂尧诸兄处及各师旅长等，乞弟为之道意。一俟秋凉，溯江而上，再续旧欢。特电奉达，即希注察。小兄吴佩孚。号。印。”由此开始了他和部下在川康甘青等地的寄食生涯。