“非法组织法”是南非政府对民主力量的一次反扑。它不仅使政府有权禁止任何组织的活动，还对策动罢工的组织者或违抗法律的人处以极严厉的刑罚：5年以下的徒刑，500英镑罚款，鞭抽10下，或是其中的两项并罚。这比蔑视运动后通过的“刑法修正案”中规定的处罚重了10倍。当时对上述违法的处置是6个月监禁或50英镑罚款，或两项并罚。
而制定这些法律的基本依据是这些组织旨在用暴力推翻政府。司法部长弗朗索瓦·伊拉斯摩斯在议会上气势汹汹地说：“他们的目的是要南非任何主张白人至上和白人领导的白人政府屈膝投降，他们不指望和平和秩序。他们需要的不是使南非所有的班图人挣1英镑一天，他们要的是我们的国家。”他们指责非洲人国民大会和泛非主义者大会用威胁的手段迫使其他非洲人参加运动，指责卢图利和其他非洲领导人是暗地里策划暴力行动的两面派。
白人政府的另一条理由是非洲人国民大会和泛非主义者大会并不能代表全体南非黑人，他们只能代表极少数人的意愿。伊拉斯摩斯认为，这两个组织的正式成员只有70000人，“还不到全体班图人的1％”。政府与班图人沟通的最好办法是土著权力机构，而不是这两个激进组织。据他们看来，“99％的班图人支持政府的种族隔离政策。”
但对政府的强硬政策，也有不同意见。统一党和进步党认为，不管非洲人国民大会和泛非主义者大会的目的如何，他们的组织并未对现状构成威胁。这种镇压手段只会导致更强烈的反抗。要求得稳定，城市的黑人必须有某种表达自己意见的渠道。“非法组织法”实施的第二天，4月9日，一个被时局搅得神经失常的德兰士瓦的白人农场主开枪打伤南非总理维沃尔德。10天后，土地部长保罗·索尔发表讲话，认为南非旧的历史在沙佩维尔结束，国家应重新认真地考虑它的种族关系政策。有些白人雇主慑于动乱中爆发出来的黑人力量，主动给黑人雇员增加工资。
非洲人国民大会面对政府的镇压措施，迅速作出反应。首先，它派出了坦博、诺克韦等一批谈判能力强、富有经验的领导人到国外寻求国际援助并开展其他工作。4月8日晚上，从开普敦逃出来的坦博化装成塞戈尔的司机，俩人连夜驱车到达约翰内斯堡。在与其他的非国大领导商量后，塞戈尔又驾车将坦博送到贝专纳兰（今博茨瓦纳）边境。凌晨3点钟，他们进入了贝专纳兰，然后又在车里睡了一觉。早上，他们走进了地区长官的办公室，“先生，非洲人国民大会的副主席奥立弗·坦博要求政治避难。”
1960年6月，非洲人国民大会的坦博和马基韦纳与南非印度人大会的尤素福·达杜、泛非主义者大会的发言人纳纳·马霍莫和彼得·莫洛齐发起成立了南非统一战线。这个协调组织一成立，就在阿克拉、开罗、达累斯萨拉姆和伦敦等地积极工作，一方面寻求欧洲社会民主党人的支持和新独立的非洲国家的援助。另一方面要求国际上对南非实行经济制裁。不幸的是，由于泛非主义者大会在南非国内的领导人极力反对与非洲人国民大会的联合行动，这个统一战线只存在了18个月就夭折了。
非洲人国民大会的国内力量团结在曼德拉和西苏鲁的周围，积极策划下一步行动。1961年3月25日，在彼得马里茨堡召开了“全非洲人大会”，这次大会实际上是应非洲人国民大会取缔前提出召开“全国国民大会”的要求而召开的。大会提出，全国国民大会的代表由选举产生，不受性别、种族、肤色、信仰或其他条件的限制。全国国民大会必须具有最高权力，以便为南非制定一部“民主的、非种族主义的新宪法”。
出席大会的代表主要来自祖鲁兰和庞多兰地区，共有近1400名，分别代表政治、文化、宗教等组织。大会选举曼德拉为“全国行动委员会”的领袖，并委托他负责向政府转达大会的要求。如果政府拒绝召集国民大会，将在全国各地举行“待在家里”的示威活动，为期3天。散会后，曼德拉立即向养病中的卢图利汇报，随后赶回比勒陀利亚听候审判结果。在叛国罪审判一结束，他即转入地下，代表非洲人国民大会继续领导运动。
与此同时，独立的非洲国家给予南非黑人解放运动以全力支持。当第三届全非人民大会于1961年3月25日至30日在开罗举行时，非洲人国民大会和泛非主义者大会均派出代表团参加。泛非主义者大会代表团团长纳纳·纳尔逊·马霍莫在发言中要求大会通过决议，促使所有非洲国家全面贯彻对南非和南非货物实行抵制。大会最后通过决议，谴责继续在南非投资的企业，建议英联邦国家同南非断绝一切关系，同时呼吁一切非洲独立国家和世界爱好启由的国家：
1．断绝与南非的外交关系；
2．禁止南非的船只和按该国法律登记的其他船只驶入它们的一切港口；
3．不让它们自己的船只进入南非的港口；
4．抵制南非的货物；
5．拒绝南非联邦政府的飞机和按该联邦法律登记的航空公司的飞机使用它们的机场；
6．号召东非和中非泛非自由运动并号召其他非洲地区，阻止劳动者在南非联邦的矿井和工厂中就业；
7．号召非洲和全世界的工会和劳动者拒绝装卸来自或运往南非联邦的货物；
8．热烈欢迎国际足球协会驱逐南非联邦的意图，并鼓励成立非洲国家体育联合会。
这个决议给流亡在外的两个被南非政府宣布为“非法”的组织的办事处和在南非国内正在进行地下斗争的解放运动以极大鼓舞。当时南非的民主力量正在曼德拉的组织下准备对政府施加压力。4月24日，曼德拉代表全国行动委员会致函维沃尔德，指出如果不顾广大黑人群众的意愿，一意孤行地建立白人共和国，其后果将不堪设想。也正是在这一天，未来南非共和国的宪法在议会经过辩论以后被大总督通过。根据计划，南非联邦将于5月31日成为南非共和国。曼德拉在信上指出，只有召开“拥有最高权力的国民大会”，才能避免出现危险的局面。对于这封信，南非总理未予答复，只是在议会辩论时承认收到了曼德拉的信，并称曼德拉态度狂妄。
5月上旬，曼德拉又写信给统一党领导人，该党为议会最大的反对党。他希望统一党能审时度势，与绝大多数黑人团结起来，孤立国民党政府，共创南非的新未来。但统一党虽然对国民党的政策表示不满，但该党领袖德·威利尔斯·格拉夫从未想到过消除白人统治。他的策略是鼓励黑人中产阶级，并保证上台后将对合格的非洲人免除通行证限制。对曼德拉的提议，他没有给予答复。
鉴于政府对建议不予理睬，曼德拉号召5月底在全国举行3天罢工。从5月下旬起，警察开始进行大规模搜捕，共逮捕数千人。集会被禁止，印刷所遭搜查，罢工传单被没收。曼德拉对警方的野蛮行径表示抗议，但白人报纸拒登他的声明，并警告人们不要响应他的号召。同时，在大肆渲染黑人的颠覆计划的烟幕中，白人纷纷成立自卫队或突击队，以反击所谓“最新动乱”，一时可谓“黑云压城城欲摧”。
1961年5月29日，南非各地群众响应全国行动委员会的号召，开始了为期3天的罢工，罢工采取的是待在家里的形式。伊丽莎白港的反应最热烈，经过29日一晚的动员和准备，5月30日有75％的人参加了罢工。还有一些大中学校的学生也举行了示威。曼德拉描述了这次罢工的情景：
在罢工开始之前和罢工期间，面对政府和雇主空前的恐吓与威胁以及新闻界大肆的欺骗与歪曲，南非热爱自由的人民对彼得马里茨堡会议的历史性和挑战性的决议给予了巨大的、坚决的支持。工厂工人和办公室职员，城乡的商人，大学、中学和小学的学生，被真正的爱国主义所鼓舞。他们面对失业、撤消营业执照和丢掉学业的威胁，都挺身而出，以感人的语言表达了他们反对少数人强加于我们的白人共和国。鉴于站立在我们面前的敌对力量的强大的阵势，以及我们工作条件的艰难和危险，我们取得的成果是最鼓舞人心的。
但是，从整体上和造成的世界影响看，这次罢工是不成功的。曼德拉不得不在罢工的第二天即宣布停止罢工。在接受外国记者的采访时，他坦然承认罢工组织得不理想。然而，从南非政府不得不调动大批军队和动员其他力量来镇压这场和平罢工这一点看，罢工的积极意义是十分明显的。第一，非洲人国民大会虽被宣布为非法组织，但人民对它的号召的支持是显而易见的。第二，非洲人国民大会通过组织这一场罢工，向整个世界、南非人民和非国大成员表明：非洲人国民大会已在新的条件下生存下来并仍具有战斗力。第三，南非政府的镇压业已表明，虽然它可以宣布非国大为非法组织，但掩盖不了这一事实：非洲人国民大会已成为政府最强有力的反对派。
罢工后，曼德拉开始考虑新的斗争方式。他在接受采访时郑重声明：“如果政府的反应是用赤裸裸的武力来镇压我们的非暴力斗争，我们将重新考虑我们的策略。在我的头脑中，非暴力政策的一章正在结束。”此时，他尚未正式提出暴力斗争方式，只是对非洲人国民大会的现行政策提出质疑。同时，非洲人国民大会主席卢图利仍然坚持非暴力手段，曼德拉尖锐地提出：“当我们与之打交道的政府所采取的野蛮行为，给非洲人带来那么多痛苦和灾难之时，继续呼吁和平与非暴力，在政治上是否正确？”
在与几个意见相近的领导人商量之后，曼德拉提出了一个能为广大会员所接受的方案：有限制地使用暴力。这是一种针对财产而非针对个人的破坏运动。不主张用武力夺取政权，亦不袭击南非军队和警察，更不使用暗杀手段。之所以如此，主要是担心任何“不加区别对待的暴力”可能激起南非的种族战争。因为非洲人对白人和白人政权是恨之入骨的，而白人政权总是以大规模的屠杀来对非洲人的反抗施行报复。随着政府对非洲人国民大会领导人的围剿搜捕，曼德拉依靠人民的支持，继续从事新时期的组织恢复工作。
6月份，南非警察局已发出逮捕曼德拉的通缉令。全国行动委员会经过充分讨论后，认为曼德拉应坚持斗争，不要去警察局投案自首。曼德拉表示接受这个建议，“我将不向一个我不承认的政府投案。任何严肃的政治家都会认识到，在这个国家当前的条件下，把自己交给警察，寻求廉价的牺牲是幼稚和犯罪。”前面有更重要的任务等着他。这个任务意味着一条更为艰难的路，曼德拉清楚地认识到，它比坐牢更承担风险和困苦，“我不得不与我亲爱的妻子和孩子们分离，不得不离开我的母亲和姐妹们，而在自己的土地上像一个被流放的人那样生活。我不得不关闭我的事务所，丢掉我的职业，像我的人民中很多人那样，生活在贫困和痛苦之中。”
在临离开的那天，曼德拉回了一趟家。他没有时间和温妮卿卿我我地叙别，温妮忙着为他打点行装。可是，当她提着准备好的大旅行袋出来时，曼德拉已经走了。她甚至没来得及说声“再见”，她可爱的丈夫就告别了。温妮后来回忆道：
在第二天下午的报纸上，我读到一条消息：他出现在披得马里茨堡，给一个我一无所知的大会讲了话。那时候，我还没有想到，对他的禁令已经到期了。看到丈夫作为家庭的一员合法地住在家里，那是最后一次。我们没有机会坐下来讨论一下他彻底献身的决定。
我觉得他是不忍心告诉我。尽管他表现出那样坚强的意志和力量，他内心却充满柔情。在那一个星期里，我注意到他沉默寡言，若有所思。我记得当时曾问他是否有什么事使他担心。后来，有一天在洗他的衬衫之前，我在他的口袋里发现了一张单据，他付了6个月的房租——那是很不正常的。我想，他正在试图减轻我的痛苦，想办法让我在没有他的情况下比较轻松地面对生活。此外，我们的汽车有些毛病，他突然把它修好了，停放在车库里。
这就是他转入地下斗争的那天。接下来便是极为艰难的日子。
很明显，曼德拉在转入地下之前是经过了深思熟虑的。为了尽量减轻温妮的负担，他尽了自己最大的努力。但是，在人民的事业和家庭的温暖两者之间，他毅然地选择了前者。
维沃尔德政府用尽了一切恐怖、威胁和残暴的手法来对付南非人民、非洲人国民大会及其领导人。警察力量在1955年只有20000人，到1962年已达50000人。另外，政府还有组织地、单独或集体地把白人都武装起来。它为全国范围内的白人成立了“斯凯特民团”（狙击小组）、步枪俱乐部、妇女手枪俱乐部等组织。据国防部长表示，在300万白人中，任何时候都可以出动25万名男女投入行动。
在加紧镇压的同时，南非政府积极推行班图斯坦计划。然而，这一所谓的“班图人自治计划”遭到了广大黑人农民的强烈反对。一些农民组织继续进行地下活动，集会一般均在夜间转移到树林里或山区举行。1960年8月，警察在特兰斯凯的恩库扎山发现了这样的集会，他们就马上对群众开枪，打死了11人，还打伤了很多人。1962年12月，警察又对在特兰斯凯的卡马塔举行的农民集会开火，打死了6个人。
尽管非洲人国民大会在许多农村地区早已于1957年就被宣布非法了，农村仍然是动荡不安的地区。一方面，南非政权强行建立班图政权，拉拢一些驯服的酋长。另一方面，这种种族隔离的计划一次又一次遭到抵制。曼德拉曾指出：“一个又一个酋长，因为抵制‘班图政权’计划而被废黜或被驱逐出家园。班图斯坦并不是为表达非洲人民的意愿，而是征服人民的工具。”不幸的是，温妮的父亲竟然支持政府的政策。当南非政权扶持起曼德拉的那位堂兄凯泽·马坦齐马酋长统�