着她。
郁达夫的穷追不舍终于打动了王映霞，王提出了结合的条件，郁必须和孙荃离婚。郁对此颇为苦恼，但他仍每天去找王映霞。3月5日，郁、王在一家旅馆相会，从早晨聊到晚上。傍晚，又一起到屋顶乐园漫步。这天，郁达夫向王表白，王也“誓说”爱郁达夫，“之死靡他”。
1927年，郁达夫将自己的日记交北新书局出版，名曰“日记九种”。在此书中，郁详细地描述了他和王映霞从相识、相知到相爱的全过程。在日记里，郁达夫甚至连与王映霞接吻的次数、哪一次亲吻得最长都详细记载下来。
6月5日，郁达夫和王映霞在杭州宴客订婚，次年2月在上海结婚，3月迁入上海赫德路嘉禾里居住。他们本打算去东京办婚礼，但最后取消了，只在上海简单摆了两桌喜宴。研究者认为，郁达夫取消东京的婚礼的真正的原因在于郁害怕犯重婚罪，“为了达到既要向王映霞家交代‘已经结婚’，而在世人面前又是‘没有再婚’这样一种目的”。
楼适夷回忆，郁达夫婚后与王映霞常出双入对，一次，朋友看到服装华丽、风姿绰约的少妇走在街上，身边跟着蓝布长衫、弱不禁风的瘦男子，便笑话他道：“是哪个公馆里的太太，带着听差上街来了？”郁达夫听了只是幸福地笑笑。
1930年，因王映霞劝郁达夫少喝酒，郁负气返回富阳老家，王认为郁是“走了回头路”，非常生气。王的祖父王二南从杭州赶来为他们调解，最后郁达夫向王映霞写了“保证书”。之后，王二南为孙女日后考虑，让郁将自己作品的版权赠给王。之后，郁达夫请来了律师徐式昌和北新书局经理李小峰，当着众人的面，写下了一式三份的“版权赠与书”。但此事他却感到椎心之痛，二人之间遂有了裂痕。
1933年春，郁达夫决定迁居杭州，鲁迅等朋友坚决反对，鲁迅还专门写诗《阻郁达夫移家杭州》进行劝阻。但郁达夫还是把爱巢建在王映霞的故乡杭州，可谓爱屋及乌。郁为自己在杭州修筑的住宅取名为“风雨茅庐”（现为横河派出所）。此处房屋共有3间住屋2间书房，占地一亩一分四厘，共花去一万五六千元。郁达夫为此负债四千元，然而他在此居住的时间加起来尚不足一个月。这座房屋的房契写的是王映霞的名字，后被王出售。
在杭州期间，是郁达夫一生中最安稳的日子。他和王映霞有了第三个孩子，平日很少出去买醉，写写文章，逗弄小儿，有时在西湖边散步，和几个青年侃侃而谈。王映霞在邻居家打牌，到晚饭时间，郁达夫总是亲自上门去叫她吃饭。正在打牌的王看见他，几乎没有一次不骂他，轻则“你不好先吃饭吗？为啥一定要来叫人家”，重则“你好去死”，有时则骂得更难听。郁总是笑嘻嘻地站在她背后，既不反驳，也不恼怒。有人调侃他，他也笑嘻嘻地不以为意。
刘开渠说：“（郁达夫）需要一个比较安静的环境，能使他坐下来一心一意进行写作，然而他的夫人王映霞却是一位喜欢热闹的女子。她喜欢参加酒宴，喜欢参加舞会。有时达夫先生因为写作关系不能陪她参加社交活动，于是她就一个人去。久而久之，不免发生了种种不愉快的纠纷。……我认为他们的志向和性格都存在着很大的差异。这对于达夫先生后来家庭的破裂不能不说是一个重要因素。”
周黎庵回忆，郁母做寿，郁达夫夫妇要赶回富阳做寿，王映霞要借杭州市长的汽车，郁达夫却不以为然。周认为：“从这一点上，很可看出她酷慕虚荣，因为那时的市长是周象贤，而他的汽车则是浙字第一号。”
虽然经历了多次不快，但郁达夫依旧依恋王映霞。为谋生计，他到福建投奔省政府主席陈仪。独在异乡，郁达夫倍加思念王映霞，他在日记中写道：“晚上独坐无聊，更作霞信，对她的思慕，如在初恋时期，真也不知什么原因。”
1938年7月5日，郁达夫在汉口《大公报》公然刊登一则《启事》，全文如下：“王映霞女士鉴：乱世男女离合，本属寻常，汝与某君之关系，及搬去之细软衣饰、现银、款项、契据等，都不成问题，惟汝母及小孩等想念甚殷，乞告一地址。郁达夫谨启。”此处“某君”指时任浙江省教育厅厅长的许绍棣。郁达夫曾闻听有关两人的传言，本就将信将疑。在福建时，郁在庙里抽得了一支怪签，上云：“寒风阵阵雨萧萧，千里行人去路遥。不是有家归未得，鸠鸣已占凤凰巢”，使他更相信了二人有染的说法。
据曹聚仁回忆，当时郁达夫夫妇住在汉口的德明旅馆，郁回到房中时，正好看见王慌慌张张将几张纸扔到痰盂中，郁捞出一看，是许绍棣写给王的信，于是二人闹翻。郁达夫很是生气，每每喝醉了酒，便指着自己的鼻子说：“我是乌龟，我是乌龟！”而后，事情闹大，蒋介石得知此事后，让陈果夫告诉许绍棣，不许许再与王有纠葛，王、许才断了关系。
郁达夫将许绍棣的信批量影印赠送友朋，声称是打官司的“凭证”。王映霞则匆忙卷带细软躲到一个律师朋友家中。郁达夫请过郭沫若来查看现场，并在报上刊登启事，致电浙江省军政府，吁请查找王映霞。
后经友人调解，1938年7月9日，郁达夫与王映霞签订《协议书》，双方“和解”。7月10日，郁达夫在《大公报》又登出《道歉启事》，公开向王道歉。王映霞则给郁达夫写了一张字据，承诺“今后当绝对与许君断绝往来，夫妇共同努力于圆满家庭生活之创造”。此字据收录于德国马汉茂辑《给郁达夫的信》中，但王映霞在《自传》中坚决否认写过这张字据。
郁达夫在一封给王映霞的信中说，一次坐车经过樟树，空袭警报响起，大家纷纷下车躲避，唯有他没有动。大家夸他有勇气，他悲伤地说：“其实一个精神上自以为绝灭了的人，肉体是否存在，是无关紧要的。”
1939年，二人感情更加恶化，郁达夫把上面提到的签诗和他所写的词以“毁家诗纪”为名，加以详细注解，发表在香港《大风》杂志上，说明王映霞与许绍棣的“热恋情事”，并声言不要稿费。郁达夫在诗词中将王映霞比作妾。情变后王氏出走，郁指其为“逃妾”，并在其丢下的一袭纱衫上题“下堂妾王氏改嫁前之遗留品”。发表前，《大风》编辑陆丹林删去其附注。
而王映霞也发表《一封长信的开始》和《请看事实》，否认与许绍棣的关系，并竭力攻击郁达夫，甚至说郁达夫是“蒙了人皮的兽心”，几近谩骂。
郁达夫、王映霞最终协议离婚。随后王映霞从新加坡孤身回国，后嫁于华中航业局经理钟贤道，据传婚礼极尽铺张奢华。郁达夫失踪后，郁达夫与王映霞所生的两个儿子（郁飞除外）被送到孙荃处抚养。2000年12月，王映霞去世。
汪静之在《王映霞的一个秘密》中揭露，王映霞的外遇对象并不是许绍棣，而是戴笠，汪因为害怕戴笠，所以一直没有说出来。他还写道：“1946年夏我回到上海，我的妻子的一位同学钱青（也是王映霞的同学）说，‘王映霞从南洋回到重庆和某人（我忘了姓名）结了婚，就要戴笠帮忙，戴笠给她丈夫做运输汽车队队长，在滇缅路直到重庆做运输工作，汽车运私货，大发财。抗战胜利后，1945年戴笠给王映霞的丈夫做运输方面的宜昌站站长，也是发财的职务。上海接收时戴笠给了王映霞一座接收下来的洋房，成了王映霞所有的房产。’这位同学又说：‘戴笠一直是王映霞的姘头，我有可靠证据。’”
对于汪静之的爆料，王映霞之女认为纯属谣言：“此人到了老年，整个心态不正常，爱骂谁就骂谁。”郁达夫与王映霞之子郁飞的妻子则说，这是把许绍棣以讹传讹当成了戴笠。但是，许多研究者认为此并非子虚乌有的无稽之谈，郁达夫投奔陈仪，以及此后远走南洋，很有可能就是为了躲避戴笠。
对于郁王的婚变，身为郁达夫好友的郭沫若为王映霞抱不平：“但我们设身处地替王映霞作想，那实在是令人难堪的事。自我暴露，在达夫仿佛是成为一种病态了。别人是‘家丑不可外扬’而他偏偏要外扬，说不定还要发挥他的文学的想象力，构造出一些莫须有的‘家丑’。公平地说，他实在是超越了限度。”曹聚仁则转引易君左的话说：“达夫的举动粗糙恶劣，确有令映霞难堪之处。……假如几百年前，唐伯虎这样揭穿了秋香的秘密，秋香还会相安于室吗？”
王映霞则将自己与郁达夫关系破裂的原因归结于郁达夫，她在《自传》中说，郁达夫一直没有与孙荃离婚，又在诗中将自己比作妾。她还历数郁达夫的种种劣迹：夫妻一吵架，就离家出走，丝毫不管妻儿的生活；日本侵略军到来前，仓皇逃亡，丢下老母在大后方，活活饿死；在报纸上登广告抹黑妻子，让妻子脸面丢尽……最重要的是，无端怀疑妻子和许绍棣有染，写下《毁家诗纪》组诗，把她描述成红杏出墙的荡妇……
1998年5月，汪静之之女汪晴在泰国的《亚洲日报》发表了《汪静之为郁达夫鸣冤》一文。汪晴在文章中说：“大概是在八十年代里，有一天父亲拿两张香港报纸的剪报给我看，上面是王映霞写的自传性的文章，……文章里说郁达夫多疑，心理变态，神经有病等等。……父亲气愤而且沉痛地说：‘郁达夫冤枉啊！王映霞把他说得那么坏，宣传得那么广，其实郁达夫是好人，他的神经正常得很！是王映霞自己有问题，却反诬郁达夫。王映霞当戴笠的姘头和在武汉堕胎的事，达夫至死都不知道，达夫死后却还受到这样的侮辱，至今没有洗清，太冤枉了！我一定要为郁达夫伸冤！’”
郁达夫的第三任妻子何丽有是印尼华侨。1943年，郁达夫化名赵廉，在苏门答腊的巴爷公务镇开酒厂，为了在日本宪兵面前掩饰自己的身份，经人介绍，与何丽有结婚。
何丽有20岁，生父姓何，幼时被一户姓陈的人家收养，取名莲有。她相貌平常，不懂中文。在婚宴上，郁达夫为其取名何丽有，意即“何丽之有”，该进洞房的时候，他还在打麻将，经友人几番催促，才被人拉拉扯扯推进新房里。郁达夫还戏称自己的新婚之夜为“破罗敷”。
一次朋友聚会，郁达夫欺何丽有不懂中文，说自己是“迩来三月食无盐”，大家听罢哄笑。何丽有不知他们笑什么，便一定要郁解释，在座一人用半生不熟的马来语解释后，何还不信，将写着这句话的纸条收了起来，说要找个懂中文的人问问。
为了使何丽有在日本宪兵面前显得有派头，郁达夫雇了几个“姨娘”，供她使唤，自己没事则打打麻将，何丽有一直不知道郁达夫的真实身份。一次，郁达夫问何丽有看自己像做什么的，何丽有看着四壁的书说：“我看你是一个‘都岗八杂’（读书匠）。”郁达夫则在人前称何丽有为“婆陀”（马来语，傻瓜）。直到遇难后，何丽有才知道自己丈夫的真实身份。
郁达夫与何丽有育有一子一女，儿子取名郁大雅（亚），是郁达夫讽刺日本推行“大东亚共荣圈”；郁达夫失踪离家后几个小时，小女儿郁美兰来到人间。
【忏悔】
郁达夫对自己沉迷于酒色生活极为痛苦：“人生终究是悲苦的结晶，我不信世界上有快乐两字。人家都骂我是颓废派，是享乐主义者，然而他们哪里知道我何以要去追求酒色的原因呢？唉唉，清夜酒醒，看看我胸前睡着的被金钱买来的肉体，我的哀愁，我的悲叹，比自称道德家的人，还要沉痛数倍。我岂是甘心堕落者！我岂是无灵魂的人？不过看透了人生的命运，不得不如此自遣耳。”
陈翔鹤回忆，一次，他和郁达夫等人到酒馆喝酒，一个歌女登场，郁看了几眼，便痛苦地闭上了眼睛，随后一大颗一大颗的泪珠滚落下来。几个人茫然起身，一起走出去。在马路上，郁一边叹气一边揩眼泪。他告诉陈，这个歌女和他在日本时的情人长得很像，他说，她是因他的引诱由少女堕落到几乎类似妓女的地步的，就在堕落之后，他们还不断幽会，现在想起来，实在是一桩罪孽。
苦闷的时候，郁达夫经常将怀孕的孙荃当作出气筒。孙荃从来不还口，任郁达夫责骂，她总是一边擦着眼泪，一边拖着日益肿胀的身子到厨房给丈夫做饭；或者默默地躺在床角暗自流泪。而每每骂完妻子，发泄完心中的悲愤，郁达夫便感到无比自责：“啊啊！我在社会上虽是一个懦弱的受难者，在家庭内却是一个凶恶的暴君哪！”
长子龙儿夭折后，孙荃含着眼泪对郁达夫说，龙儿生病前的一天午后，在门前玩耍，看见一乘马车，里面坐着一个戴灰白色帽子的青年，以为是郁达夫回来了，因为龙儿记得爸爸去年离京时所戴的也是顶白灰呢帽。马车走后，龙儿仍然哭喊着：“爸爸为什么不回家来？爸爸怎么不回家来？”不管孙荃怎样慰说，他仍不停地哭泣。龙儿患上脑膜炎后，经常问她：“爸爸几时回来？”将死的前五天，他连续喊着爸爸。郁达夫听后感到十分痛苦和愧疚，认为自己“实在不该抛弃了他们，一个人在外面流荡，致使他那个小小的心灵，常有这望远思亲的伤痛”。
郁达夫和王映霞热恋后，内心也时常泛起对孙荃和孩子的忏悔，如他在日记里写道：“我也该觉悟了，……可怜我的荃君，可怜我的龙儿、熊儿，这一个月来，竟没有上过我的心，啊啊，到头来，终究只好回到自家的破烂的老巢里去。这时候荃君若在上海，我想跑过去寻她出来，紧紧地抱着了痛哭一阵。我要向她confess，我要求她饶赦，我要她能够接受我这一刻时候的纯洁的真情。”
夏志清说：“对于郁达夫那种内疚、悔恨心情应从儒教的伦理角度去理解、去分析。郁达夫是在儒教的熏陶下长大的，即使当他放纵自己，追求性欲满足的时候，郁达夫或是他那虚构的他也总是由于清楚地知道自己违反了做儿子、丈夫及父亲的道理而感到痛苦。”
【逸事】
记者许雪雪回忆郁达夫：“一件淡灰色的自由布长衫，一双半新�