，吴父更是公开斥责吴宓：“无情无礼无法无天，以维持旧礼教者而倒行逆施。”
吴宓为毛彦文所拒后，并不气馁。他一边与陈心一离婚，一边更加锲而不舍地追求毛彦文。他表示愿意资助毛彦文出国留学，毛彦文拒绝后，他又以朋友张荫麟等人的名义给毛寄钱。在30年代的上海滩，吴宓教授单恋毛彦文女士的话题一时为小报津津乐道，而吴、毛之事经报纸好一番添油加醋的渲染，一时间人尽皆知。
吴宓的锲而不舍最终打动了毛彦文。但当二人谈婚论嫁时，吴宓却生出了一丝隐忧，既想和毛彦文结婚，又担心婚后会不和谐，两种截然不同的心情，让吴宓彷徨不已，患得患失。在此期间，他又对燕京大学女学生陈仰贤，西洋女子h女郎和m女士心生爱慕。
1931年3月，时在巴黎的吴宓急电在美国的毛彦文，措辞强硬地要求毛彦文放弃学业，迅速赶往欧洲，与之完婚，否则分手。有人说，他动辄向毛彦文发出最后通牒，用语十分恶毒。毛彦文赶到巴黎。吴宓又不想结婚了，改为订婚。毛彦文失望至极，她哭着说：“你总该为我想想，我一个30多岁的老姑娘，如何是好。难道我们出发点即是错误？”
吴宓不为所动，他说：“人时常受时空限制，心情改变，未有自主，无可如何。”对此，吴宓在日记中说：是晚彦虽哭泣，毫不足以动我心，徒使宓对彦憎厌，而更悔此前知人不明，用情失地耳！
吴宓转而又去羡慕鲁迅、许广平的同居生活，他说：“许广平夫人，乃一能干而细心之女子，善窥鲁迅之喜怒哀乐，而应付如式，即使鲁迅喜悦，亦甘受指挥。云云。呜呼，宓之所需何以异此？而宓之实际更胜过鲁迅多多，乃一生曾无美满之遇合，安得女子为许广平哉？念此悲伤。”
吴宓与毛彦文从欧洲回国后，毛彦文留在上海，一直在等待吴宓迎娶。毛彦文写信给吴宓说：“先生当记得我们俩在东北大学相处的日子，先生在东北大学任教，彦文若不是真心爱先生，会有到东北大学看望先生的那种一举一动吗？”“我把先生送出门外，先生离开了我，一直往前走去，没有再回头看我一眼。我一直站着，到看不见那消失了的先生的身影，才独自回来，把门关上。”
1933年8月，吴宓南下，但他的目的是去杭州向卢葆华女士求爱，如不成，再去上海，和毛继续讨论是否结婚。但吴宓的如意算盘却落了空。
毛彦文已经厌烦了吴宓的爱情游戏，她说自己准备终生不嫁，领养个小女孩，“归家与女孩玩笑对话，又善为打扮，推小车步行公园中，以为乐”。最后，33岁的毛彦文嫁给了66岁的熊希龄。毛彦文结婚时，曾邀请吴宓参加婚礼，吴宓以编诗话为由谢绝了。他在深陷绝望悲苦之中，作《吴宓先生之烦恼》，排遣内心的苦闷。
熊希龄病逝后，吴宓为毛彦文悲痛不已。“万感纷集，终宵不能成寐。”吴宓在枕上写诗一首，有“忏情已醒浮生梦”之句。这夜，吴宓思感缠绵，一夜无眠，东方破晓。“此空前大劫之国难1937遂于此终，觉地老天荒，一切都尽。彦嫁未满三载，得此结局！人生如小说戏剧，真到结尾收场时矣！”吴宓又开始追求毛彦文，毛彦文面对这个世事无常的重大变故，心如磐石。1949年，毛彦文离开大陆赴台，此后，吴宓再也没有了他心爱的毛彦文的消息。
吴宓对毛彦文的爱，持续了一生。吴宓对于自己对毛彦文的爱，从不避讳，甚至在课堂上与学生公开谈论，并写进自己的诗中。他经常与贺麟、浦江清等人谈他心中的遗憾与矛盾。吴宓的《诗集》中题下不少未注姓名的情诗，都是为毛彦文而写的。1943年8月20日，已是知天命之年的吴宓于昆明写下一首五言长诗《五十自寿》，此中仍表达对毛彦文的爱意：“平生爱海伦，临老亦眷恋。世里音书绝，梦中神影现。怜伊多苦悲，孀居成独善。孤舟泛黄流，群魔舞赤县。欢会今无时，未死思一面。吾情永付君，坚诚石莫转。相抱痛哭别，安心归佛殿。即此命亦悭，空有泪如霰。”
吴宓对毛彦文的爱是一种柏拉图式的爱情。1936年8月1日中，吴宓在日记中对自己的爱情进行了反省，他说：“盖中国一般人，其视爱皆为肉体之满足及争夺之技术，不知宓则以宗教之情感而言爱。……真正之爱者，皆情智超卓，道行高尚，上帝之宠儿，而人类之俊杰也。爱乃极纯洁、仁厚、明智、真诚之行事，故宓不但爱彦（指毛彦文）牺牲一切，终身不能摆脱，且视此为我一生道德最高、情感最真、奋斗最力、兴趣最浓之表现。他人视为可耻可笑之错误行为，我则自视为可歌可泣之光荣历史，回思恒有余味，而诗文之出产亦丰。我生若无此一段，则我生更平淡，而更郁郁愁烦，早丧其生矣。今年老情衰，并此而不能再，故益不胜其系恋也。”
上个世纪60年代初，吴宓请西南师范大学美术系的一位老师根据相片画了一幅毛彦文的肖像，挂在墙壁上，日日相对，夜夜相守。
然而，60代末，隐居台湾的毛彦文撰《往事》一书，在这本自传体回忆录中，她提及吴宓时，就如同一个交往不深的朋友，对于她和吴宓的爱情，更是只字未提。从书中的叙述来看，她不仅不爱吴宓，而且对他有些反感。
毛彦文在《往事》一书中仅用千余字的篇幅回忆了吴宓与陈心一的婚姻，也谈及自己拒绝吴宓求婚的因由：“自海伦（毛彦文）与朱（君毅）解除婚约后，她想尽方法，避免与朱有关的事或人接触，这是心理上一种无法解脱的情绪。吴为朱之至友，如何能令海伦接受他的追求？尤其令海伦不能忍受的，是吴几乎每次致海伦信中都要叙述自某年起，从朱处读到她的信及渐萌幻想等等，这不是更令海伦发生反感吗？”
据去过台湾而且有幸拜访了毛彦文女士的沈卫威先生撰文介绍，当他向毛彦文提及当年吴宓对她的深情厚爱时，已是102岁高龄的毛彦文女士语气平淡地表示：“他是单方面的，是书呆子。”再问下去，她便连说“无聊，无聊”。
吴宓多情，从他的日记看，自他早年开始，每逢遇到女人，必然在日记中品头论足。他表示过爱慕的女人有燕京大学的女学生陈仰贤、欧阳采薇、黎宪初、张敬（张清常之姐，名清徽）、在法国遇到的美国女学生H、代号为K的清华女生，还有他苦恋一生的女子毛彦文。吴宓对这些女子，均为精神上的倾慕。
清华大学女毕业生K，频频出现在吴宓三十年代的日记中，吴宓常常和她约会，一起吃饭、游览，鱼雁传书之余，频频电话传情，俨然一对恋人。这段时间吴宓日记中经常出现的另一个女人是绛珠。绛珠原名朱崇庆，天津人，30年代居北京，与寡母相依为命，家甚贫寒。因她喜着红衣，遂自字曰绛珠。1935年秋，绛珠从吴宓授课。抗战爆发之前，吴宓和这两位女性过从甚密。
吴宓与上文提及的卢葆华女士也曾有过长时间的亲密交往。卢葆华是一位遵义才女，吴宓很欣赏卢的文学才华，极力赞许卢葆华的新诗集《血泪》：“作者痛苦悲哀之际所发之号呼。真挚明显，极不易得”。后吴宓向卢葆华示爱，卢婉拒，许以兄妹相称；后卢转向吴求婚，吴亦坚持认为以兄妹相处为宜。两人曾有诗歌唱和，吴宓在《空轩诗》第10首中写下了“今天已许为兄妹，愿结来生伉俪盟”之句，卢葆华的《和雨兄原韵》第2首中，亦以“舟子弄潮如有信，浮游愿结海欧盟”相应。
曹聚仁在《胡子先生——吴宓》一文中记录了吴宓的一件趣事：在西南联大时，吴宓曾追求一位女生。一天，他照例去拜访该女生，恰巧该女生出去了，同室的女同学在，听见敲门声，便开口问道：“谁？”门外的吴宓学着小生的腔调回答道：“吴宓来也！”女同学闻言答道：“她不在家。”吴继续学小生的腔调说：“请转告她，明日再来，吴宓去也！”女同学很不客气地说：“讨厌，讨厌。”吴宓回道：“岂敢！岂敢！”
1953年6月，已近暮年的吴宓迎来了自己的第二次婚姻，他与原重庆大学法律系毕业生、20多岁的邹兰芳结为夫妻。
邹兰芳出生于地主家庭，她在重庆求学完全依靠两位供职原国民党川军的哥哥救助。解放后，两位兄长因参与武装叛乱，被共产党镇压，留下了几个无人照顾的遗孤。邹兰芳一力承担抚养兄长遗孤的重担。但由于她出身不好，而且患有严重的肺结核，处境很是艰难。
当邹兰芳看到了吴宓发表在《新华日报》上的“思想检讨”后，她主动写信给吴宓，声称自己佩服其道德文章，虔诚地崇拜他。吴宓回信后，邹兰芳便登门求教，此后经常以学生的身份为老师缝洗浆补，给了晚年的吴宓一些安慰。随后，吴宓与邹兰芳结婚。
谈到这次婚姻，吴宓曾对好友姚文青说：“非宓负初衷（他曾发誓：为爱毛彦文，终身不复娶），实此女强我，不得已而为之。以此女学识，则英文不懂，中文不通；以论容貌，不过如此。”
婚后，吴宓叫苦不迭，师生恋已令他抬不起头，加上邹兰芳身体极差，而吴宓还需要供养邹兰芳哥哥的遗属们。吴宓曾对朋友说，这哪是黄昏恋的爱情，实是在为兰芳治病，在养兰芳一家九口人。
婚后仅三年，邹兰芳因肺病不治，香消玉殒。吴宓很是伤心，吃饭时，饭桌上必多摆一副碗筷，不让亡妻在冥界当饿鬼；看电影时，也必买两张票，空出身边的座位，意中犹有亡妻相伴。
邹兰芳去世后，吴宓却没有摆脱了邹家的一大家子人，他继续用他工资的大半接济养育邹兰芳的几个侄儿、侄女。这种接济直到“文革”开始后吴宓自顾不暇时才中断。邹兰芳的一个侄儿，在她去世后，长期以照料吴宓为由，和吴宓住在一起，每天游手好闲，好吃懒做，剥削吴宓。西师一位教授实在看不惯了，力劝他辞掉这个食客。“文革”开始后，这个“食客”才自己走掉。当时西南师院的一个青年教师气愤地说：这十几年，一个二级教授的工资大都让一个大地主的女儿和几个国民党反动军官的龟儿子花了。
江勇振曾这么戏谑的评价吴宓的爱情：“吴宓谈恋爱，光说不练是意淫，像吴宓，只在日记、书信里演练他对女性的爱；又练又说，像徐志摩，是浸淫，是真恋爱；光练不说，像胡适，是真淫。”
【抉择】
1949年4月，解放军直逼武汉三镇，时在武汉大学的吴宓面临何去何从的问题。岭南大学校长陈序经邀吴宓任该校文学院长，并告知陈寅恪已应聘到校，他没有应允。国民党教育部部长杭立武亲自出面动员吴宓到台湾大学文学院任院长，吴宓不为所动，因为他与台大校长傅斯年素来观念不同。女儿们让他回清华，他也拒绝了。最后他谢绝友人要他去美国、香港和台湾讲学的劝告，决定留在大陆。他说：“生为中国人、死在中国土。”
此时，重庆相辉学院院长许逢熙来函，邀请吴宓到相辉学院任教。这时的吴宓有出家为僧的念头，正好学衡派的王恩洋在成都主持东方文教学院，吴宓便想到那里研修佛教，然后慢慢地出家为僧。于是，1949年4月底，吴宓抵达重庆，任相辉学院外语教授，同时兼任梁漱溟主持的北碚勉仁学院文学教授。
1950年4月，私立的相辉学院、勉仁学院在被相继撤消、合并之后，吴宓被调到四川教育学院任教。9月，该学院又并入在北碚新建的西南师范学院。吴宓成为西师的历史系教授，随后调整到中文系。
吴宓对于自己没有回清华而是到相辉学院的决定，日后颇为后悔，他说：“举动之极端错误，而祸害以长者也。”
1961年，吴宓到北京参加会议。贺麟告诉他，周扬主张调他到中央文史馆任研究员，专力译沙克雷小说，因而愿意陪他去拜访周扬。吴宓未往。后来吴宓写到这段事情时说：“若竟从之，后来周扬得罪，宓必受牵连。然谨慎不往。伏处西师，一九六八年以后仍受种种之惩罚与斗争，则何如其往耶？”
【晚景】
吴宓的日记成为了吴宓“反动”的罪证，据和吴宓一起蹲“牛棚”的西师中文系古典文学教授谭优学回忆说：1968年夏，两派斗争又紧张起来。“革命群众”突然对吴宓采取了一次“革命行动”。抄走了他的“反动日记”。这可惹下滔天大祸了。不但自讨苦吃，还连累到我们。他日记里说，叫中学生造反，等于拿小刀给孩子玩，没有不伤手的。“文化大革命”是毛主席“亲自发动亲自领导的”。这不是明目张胆地反对毛主席罪状之一。日记说“姚文元在江青卵翼之下”，是恶毒攻击中央“文革”和“江青同志”、姚文元。罪状之二。日记里有些地方对毛主席的文艺讲话，说了不全赞同的话，“狗胆包天”，竟敢“唱反调”，罪状之三。我们在“学习”中，监督有时不在，不免对两派的某些事有长短得失的议论，他也记在日记里，而且记下是“某君云”。“牛鬼蛇神想翻天了，那还了得”，于是我们被勒令于某日上午去某处集合。其他系的几条“辫子”挨了毒打，杀鸡给鹅看。我们挨了一顿毒骂。吴宓大概因为年老，免于挨揍，但被宣布为“现行反革命”，严加监管。还据说“两派同志都同意，公安部已批下来给吴宓戴这顶帽子”。这下真成为“不齿于人类的狗屎堆”了。
1968年6中旬，西南师范学院两派武斗再起，赶走了八三一的春雷造反兵团夺权后，召开批斗原党委书记张永青的大会，吴宓日记记载：包括他在内的“各类有罪之教职员（皆曾为张永青所尊礼、宠用、包庇者）共十六名，分列两侧，陪斗（同受斗争）。”在批斗大会上，吴宓不停挨打。学生们用竹条、树枝或扔小石子打他，在被押进会场时，“旁人则以竹条打击头肩背不休（此时最痛）”，在台前低头请罪听候大会批判发言中，“坐第一排之女生又频频以竹条打击宓等之头顶”。批斗会结束后，吴宓回到家中，“以所历简告唐昌敏（吴宓所雇家务女工）。视表，正夕5时。所历共�