但是这只“鹰”、“虎”的前景并不美妙。此人虽然精明、狠辣，然而因逆时代潮流而动，终于一败涂地。
1926年6月张作霖与吴佩孚在北京会谈“合作”。为进攻已占据直隶的国民军，张作霖与吴佩孚弃嫌修好，签订反冯盟约。
之后，国民革命军大举北伐，他纠集主力扼守湖北咸宁的汀泗桥并上阵督战，亲手枪杀了几名后退的官兵，然而也抵挡不住革命洪流。两个月后北伐军攻克武昌，他大势已去，可是不像其他下台的军阀政客那样，腰缠万贯出洋“考察”或跑到租界去寻求外国人保护，而是在国内辗转流亡。
第二年，他率卫队逃去四川经河南邓县构林关时，受到当地头面人物的热情款待。面对满桌酒肉，他却说：“免了吧，战火连绵，百姓不得温饱，我们还要这么多菜干什么？”只留下四个小菜，其余全叫人撤下。他定于第二天清早开拔，可是地方绅士纷纷前来求字求诗，他雅兴大发，欣然应允，撰写了多首（副）诗联。在赠给乡绅杨星如的诗中，有“天落泪时人落泪，哭声高处歌声高。世人漫道民生苦，苦害生民是尔曹”之句，流露出了悲天悯人的情怀，还不客气地谴责了地主豪绅们的罪恶，令人刮目相看。弄文舞墨的“雅兴”救了他一命。当天上午，先头部队中了悍匪索金娃的埋伏而狼狈不堪，连秘书长张煌言也被乱枪击毙了，他却因推迟出发而安然无恙。
随后，他流寓于四川的奉节、大足、达县等地，卫队、随员星散，靠依附当地军阀为活。在成都参观昭觉寺时，他特地穿上袈裟拍照，还赋诗二首。第一首是：
英雄不避杀身凶，何况空门老梵宫。
偏有情丝难遽断，双行血泪洒秋风。
“空门”和“梵宫”都指佛寺。诗意是：我向来将生死置之度外，又岂怕在寺院里终老？但因“情丝”（对世事的千丝万缕关系）难以砍断，所以不能皈依佛门。此时他仍以“英雄”自命，却自知不能东山再起，于是只好“两行血泪洒秋风”，散发出“末路”的凄凉。
第二首的内容比较简单，只是说自己虽然不当和尚，但“此后深山同佛”，表明不再过问世事，意思是要有关人士放心。
吴佩孚一生极重信义廉耻，因为承诺不仰仗外国势力，所以先后艰拒了苏联、英美、日本等政府和银行主动伸出的橄榄枝，这和他日后的落寞有着必然的联系。
第一次直皖战争后，吴佩孚虽远避豫西，但却又让人不得不仰其鼻息，北京政府大到国策小至人事安排，无不频繁请教于他。这当然就引起了处心积虑欲操纵中国的苏联人的注意，中国共产党人曾奉“远方”（中共对苏联政府和共产国际的隐秘代称）之命与吴佩孚联络——李大钊就曾充任过使者。
原来，苏联人在决定帮助孙中山和中国国民党之前，最先看好的竟是“反动军阀”吴佩孚！越飞，这个被苏联政府派来中国的特使，因后来与孙中山联名发表会谈纪要而名扬中国现代史，孰料早在他前往广州游说孙中山之前，就在北京给洛阳的吴佩孚写过一封信。且看1922年8月19日越飞致吴佩孚的密函：
……我们都怀着特别关注和同情的心情注视着您，您善于将哲学家的深思熟虑和老练果敢的政治家以及天才的军事战略家的智慧集于一身……
世界上没有无缘无故的爱，苏联人往死里捧了老吴这一通，究竟要干什么呢？越飞继续写道：一、“为了便于修复两国睦邻关系”，让并不在政府任职的实权人物吴佩孚同意他们在中国的领土上同日本人谈判——在满洲有驻军的日本人一直是苏联人的后院隐患；二、让吴接受苏联红军进占中国的附属国外蒙古的现实。
待越飞的军事顾问、苏联总参谋部学院院长格克尔将军自洛阳返回北京后，越飞立即给国内拍发了“绝密”级的电报：
（格克尔）从吴佩孚那里回来了，说从未见过这样完美的军事秩序：秩序和纪律极其严整，操练和训练比赞许的还要好……
可见，正是吴军的强大实力使苏联人以为找准了在华的代理人。然而，民族气节极重的吴佩孚拒绝了苏联人的游说。
即使到了民国14年（1925年），苏联人依然没放弃利用吴佩孚的愿望。
其时，用苏联的枪炮与奉系开战的冯玉祥的国民军已经失利，冯本人不得不宣布下野并自我放洋，他的部下通电表示“迎吴讨奉”，而吴佩孚正雄心勃勃地出任“十四省讨贼联军”总司令。
只要有人出面反对奉军，苏联就会拥护。当时的苏共中央曾专门开会讨论并通过了有关中国局势的决议，他们的政治局会议第86号（特字）记录中明明白白地写着：
中国的事态发展进程，越来越把吴佩孚和他所领导的直隶集团推到首要地位。吴佩孚正在成为核心政治领导人物，同时好像也在成为民族运动重新爆发的中心。……吴佩孚的行动会造成有利的局面，必须加以利用。
有必要同吴佩孚联合，联合的结果应当是成立新的中国政府。
下面的话暴露了苏联人的险恶用心：
这种联合不可能有什么牢固性可言，所以在进行现阶段的战争和成立新的政府的时候，必须从建立真正统一的中国必然要继续进行战争的思想出发，不过这时已经是同吴佩孚及追随者的战争……
吴佩孚没让苏联人如愿，一个崇拜岳武穆、戚继光的爱国军人，哪会去牺牲国家疆土和民族利益以换取洋人的支持？清朝时在东北当过间谍的吴佩孚不会忘了老毛子曾怎样掠夺与诈取我中华的大片疆土，而列宁宣称苏维埃政府将放弃沙俄时代一切对华不平等条约后，不也照样食言！
学测绘的军校毕业生吴佩孚大体上能计算出来，俄罗斯人究竟想干什么——成立一个完全受他们控制的中国政府。但尽管如此，如果吴佩孚地下有知，于身后六十多年后闻知苏共中央领导人明确提到了要利用他、待战争结束新政府成立后再推翻他的阴谋后，想必还会冷汗涔涔吧！
苏联人一定困惑极了，正如十几年后日本人在“吴佩孚工作”失败后一样，他们总不明白，他们面对的是一个极有民族自尊心的中国传统军人，一个公开向国人承诺过“四不主义”（即“不做督军、不住租界、不结交外国人、不举外债”）的硬汉子。
休道他风头正健时，即使最潦倒的时候，他也没向外国人低过头——当他退居白帝城时，日本第一外遣舰队总司令和海军驻沪特务机关长曾专程拜访过他，表示愿供私人借款一百万元和无偿赠予十万支步枪、五百门钢炮、两千挺机关枪，支持他东山再起。但吴却语气坚定地回答：
过去我曾有枪不止十万，有钱不止百万，可见成败并非枪炮与金钱。我如愿引外援借外债，何必待到今日！中国的事应该由中国人自了。
与苏联人的愿望相反，自兹吴佩孚更加仇视苏联人，也更认定“赤化”只会毁灭儒家的中国。对吴绝望后，苏联人才开始专一做广州孙中山的工作，这才有了国民党的起死回生，这才有了国共合作的局面，进而有了北伐的胜利与北京政府的垮台。
不但苏联拉拢吴佩孚，日本也在他身上打主意。首先，在“九？一八”事变后，日本驻屯军司令田代皖一郎等为软化华北军民，便通过冀察政务委员会在当时北平的中南海怀仁堂举行联欢宴会，招待日军驻北平的连以上军官，由驻北平的国民党第二十九军团以上军官作陪，还邀请了吴佩孚等人到会。席间，有几个日本军官借酒发狂，跳上酒桌唱起了日本歌曲，以示挑战。在场的国民党第三十七师一零零旅旅长何基沣见此情景，马上针锋相对地跳到桌上高唱了一首中国歌曲，表示应战。日军见首招失利，接着又换新招。一名日本军官拔刀起舞，炫耀起武士道精神来。国民党第三十八师第一一四旅旅长董升堂愤然跳出来，精神抖搂地打出一套八卦拳，随着又干脆利落地耍了一套大刀。独立二十六旅旅长李致远也挺身而出，演练了一套使人眼花缭乱的“滚堂刀”，显示出了中国军人精彩绝伦的武功和勇猛不可欺的气概。一时间，日军惊得目瞪口呆，纷纷上前敬酒，企图将李致远灌醉。李致远豪情大发，与日军对饮。日军见不是对手，又提出要比赛书法以决胜负。此事正中吴佩孚的下怀，他立即来到桌前，当场挥毫泼墨，用龙飞凤舞的醉笔写下了一个大条幅，连在场的日军军官也不自觉地击掌叫好起来。最后，日军看到一连三个回合都失败了，黔驴技穷地大喊一声，突然冲出几个人来七手八脚抓住了二十九军军长宋哲元和北平市市长秦德纯，高高地举过头顶。国民党军官们一见也抓起附近的两名日本军官举了起来。这时，双方人员怒目圆睁，大有一触即发之势。宋哲元一见形势不妙，连忙讲了几句所谓中日应该亲善的话，大家这才各自回到座位上来。宴会结束后，二十九军的全体军官昂首挺胸，大义凛然地走出了怀仁堂，使日军精心策划的这次“鸿门宴”以失败告终。
然而吴在1932年10月离开成都后，并没有选择深山作归宿之地，而是定居于北京的什锦花园，主要靠“世侄”张学良给“补助费”维生，还写了一副对联：
得意时清白乃心，不纳妾，不积金钱，饮酒赋诗，犹是书生本色；
失败后倔强到底，不出洋，不走租界，灌园怡性，真个解甲归田。
虽然没有“灌园”、“归田”，但对联总体是真实的。此人虽然浑身血腥，但尚知道坚持民族立场。1919年“五四”运动时曾表态反对签订有损于中国利益的巴黎和约；1935年，日本侵略者为了分裂中国而搞“华北自治”，请他上台当傀儡，他坚决拒绝。
若没有日本人的入侵，吴佩孚原本是要在北京城里颐养天年的。可是，卢沟桥事变的枪声打断了他的残梦。
1937年初夏，日本人通过卢沟桥事变快速侵占了北平，一直不肯去南方做蒋的清客的吴佩孚，成了敌寇辖下的高级寓公。
和吴一样留在北平的一些有身份的人士怕死也怕失去悠闲的日子，便摧眉折腰事倭寇，其出任伪职的经历成了终身难以洗净的污点，这其中不光有吴的一些北洋同僚与旧部，也有北大名教授周作人这样的名士。
像所有的异族统治者一样，敌寇急于在占领区建立从属于自己的傀儡政权。日本人看好了两个一直与蒋介石不对付的中国人，一个是中国当朝二号人物汪精卫，一个便是曾统兵近百万的北洋时代最有人格力量、“在北洋军阀中，比较还像一个人”的吴佩孚。他们希望“汪吴合作”，一南一北，一文一武，敦请这两位强人出任傀儡政权的头儿，则亡华春梦便可变现矣。
尽管汪精卫终于答应“合作”，从重庆逃到了河内，但一直在日本人眼皮底下的吴佩孚却沉默如山，任冷落多时的什锦花园突然冠盖聚集说客盈门，却统统无补费精神！这其中，既有他的前部下、后来当了汪精卫伪政权军事首领的齐燮元，更有战后被国际法庭绞死的甲等战犯、日本驻华特务机关首脑土肥原贤二和华北派遣军参谋长板垣征四郎。吴佩孚不为所动、不受抬举、不肯附逆，天长日久，院里松柏本色不凋。
北平沦陷后，吴佩孚一直是日方拉拢的重点对象。日方利用这幅吴氏家庭合影，大造舆论。
日本人对吴佩孚是寄予厚望的。日本人大伯通贞受命进入北平，邀见吴佩孚，请吴出山担负“兴亚”大任。吴佩孚没有答应。随后日方又派更厉害的号称“东方劳伦斯”的中国通、日本著名特务头子土肥原贤二，决心要把吴佩孚拉下水来。且读一份战后日本“土肥原贤二刊行会”编撰的一段文字：
当时日本军以破竹之势，席卷华北、华中、华南。以王克敏、梁鸿志、德王为首的政府相继成立。土肥原作为陆军、海军、外务三省特别委员会的负责人，正在策划在三个政府之上建立以吴佩孚为首的中央政府的工作……
其实吴佩孚也答应过“出山”，条件也极简单，只一条：请日本人撤出包括东北在内的所有中国领土。而且，他也确实令旧部于河南开封一带集结改编成了“皇协军”，甚至还派人在山东境内招过兵，只是后来该部“全部潜逃”，“回归重庆军建制”（日本人语）人们才知道了吴氏的初衷。
日本人还越俎代庖地在什锦花园为他安排过一次记者招待会，他尚未开口，中外记者们已经读到了打印好的“吴氏对时局的意见”。
1939年3月30日，百余名中外记者拥向什锦花园。花园内戒备森严，进场的记者每位都发有一份中英日三种文字形式的“讲稿”。吴佩孚在众人的簇拥下进入会场，并客气地向记者先鞠了一躬，然后仅瞥了一眼案前的“讲稿”，做即席讲演。开始的讲话土肥原十分满意，讲着讲着吴佩孚把话锋一转，就提出了恢复中日和平的两个条件，即日本无条件全面撤兵，中华民国应保持领土和主权完整。吴佩孚同时还大声命令翻译按他的原话，一字一句地进行翻译。会场的中外记者纷纷疾笔如飞记下了吴佩孚最真实的讲话。随后吴佩孚把土肥原事先准备的“讲稿”从案前拿起来，然后狠狠地摔在地上，用力踩在脚下。
土肥原气得浑身发抖，脸色腊黄。吴佩孚巧妙地用记者招待会的形式，揭穿了土肥原散布的流言蜚语，粉碎了土肥原的阴谋。
后来日本人以死威逼，不想一到吴的家里，吴佩孚就请他们看一样东西，原来是一具黑漆棺材，吴佩孚已经在上面刻上了自己的名字，只空了年月日。日本人利诱威逼均告失败。
他的态度自然不会让日本侵略者高兴。
1939年11月中旬的一天，吃饭的时候，吴佩孚对身边的幕僚们说：“牙齿出了毛病，镶的金叶子有点刮舌头。”大家说：“那换一个好了。”当天晚上，派人将镶牙师找来，因为这名镶牙师就是当初为吴镶牙的。兴许吴佩孚是因为年龄老了的缘故，牙齿上有空洞，但并没有填补。12月4日，身体健壮的吴佩孚意外地因吃羊肉饺子，骨屑正钳在牙齿的空洞里，几天后，两腮红肿，疼痛难耐。于是，“学生”川本芳太郎携领日本军队医寺田及护士，由华北大汉奸齐燮元陪同来到吴宅。寺田检查后，声称需立即做手术，�