وصل مانديلا إلى تصور حول حزب المؤتمر الوطني الأفريقي يقضي بأنه "لا بديل عن مقاومة مسلحة وعنيفة" بعد أن شارك في الاحتجاج الفاشل لمنع هدم ضاحية السود في صوفياتاون جوهانسبرغ في فبراير 1955. أشار على سيسولو بطلب الأسلحة من جمهورية الصين الشعبية، ولكن الحكومة الصينية اعتقدت بأن الحركة غير مستعدة لخوض حرب عصابات ضد نظام الفصل العنصري. بمشاركة من مجلس جنوب أفريقيا الهندي، ومجلس الملونين ومؤتمر جنوب أفريقيا لنقابات العمال وكونغرس الديمقراطيين، حضر حزب المؤتمر الوطني الأفريقي لمؤتمر الشعب، داعيا جميع مواطني جنوب أفريقيا لإرسال مقترحات لمرحلة لحقبة ما بعد الفصل العنصري. واستنادا إلى الردود، وضع روستي بيرنشتاين مسودة ميثاق الحرية، لدعوة إلى إنشاء دولة ديمقراطية غير عنصرية مع تأميم الصناعات الرئيسية. وعندما اعتمد الميثاق في المؤتمر يونيو 1955 في بكليبتاون بحضور 3000 مفوض، اقتحمت الشرطة مكان الحدث، ورغم ذلك بقي جزءا مهما من أيديولوجية مانديلا.
بعد نهاية الحظر الثاني في أيلول 1955، ذهب مانديلا في يوم عطلة العمل إلى ترانسكاي لمناقشة الآثار المترتبة عن قانون سلطات بانتو 1951 مع زعماء القبائل المحلية. واغتنم الفرصة لزيارة والدته أيضا قبل العودة إلى كيب تاون.
في مارس 1956، تلقى إعلانا بحظر ثالث خص الظهور العام، حيث تم حصره على جوهانسبرج لمدة خمس سنوات، ولكنه كان يتحداه في أحيان عدة.
في 5 ديسمبر 1956، اعتقل مانديلا إلى جانب معظم المجلس التنفيذي لحزب المؤتمر الوطني الأفريقي بتهمة «الخيانة العظمى» للدولة. احتجز في سجن جوهانسبرغ وسط احتجاجات واسعة، وخضع للتحقيق الابتدائي في 19 ديسمبر، قبل تحديد مدة سجنه. بدأ طعن الدفاع في 9 يناير 1957، وأشرف عليه محامي الدفاع فيرنون بيرنجيه، واستمرت القضية حتى توقفت في سبتمبر. في يناير 1958، تم تعيين القاضي أوزوالد بيرو لترأس القضية، وفي فبراير استبعد القاضي أن يكون هناك "سبب كاف" لدفاع المتهمين يسمح باللجوء إلى المحكمة العليا بترانسفال. بدأت المحاكمة بالخيانة رسميا في بريتوريا في أغسطس 1958، بعد أن لبي طلب المتهمين بتعويض القضاة الثلاثة، المرتبطون كلهم بالحزب الوطني الحاكم. في أغسطس، أسقطت تهمة واحدة، وفي أكتوبر سحبت النيابة لائحة الاتهام، لتقدمها بصيغة معدلة في نوفمبر متهمة جميع قادة حزب المؤتمر الوطني الأفريقي بالخيانة العظمى بحجة دعوتهم لثورة عنيفة، الأمر الذي أنكره المتهمون.
في أبريل 1959، قامت مجموعة من الأفارقة، غير الراضين عن نهج الجبهة المتحدة لحزب المؤتمر الوطني الأفريقي، بتأسيس «مؤتمر كل الأفارقة» وانتخب صديق مانديلا Robert Sobukwe رئيسا، في حين كان مانديلا يعتقد أن المجموعة "غير ناضجة" خاض الطرفان حملة ضد تراخيص المرور في مايو 1960، أحرق الأفارقة خلالها تراخيص مرورهم التي كانوا مضطرون لحملها قانونا. وشهدت إحدى المظاهرات التي نظمها إطلاق الشرطة للنار، ما أسفر عن مقتل 69 متظاهرا في «مجزرة شاربفيل». تضامنا، أحرق مانديلا علنا تراخيص مروره، كما اندلعت أعمال شغب في جميع أنحاء جنوب أفريقيا، مما أدى بالحكومة لإعلان الأحكام العرفية. في ظل التدابير الطارئة، اعتقل مانديلا وغيره من الناشطين في 30 مارس، وسجنوا بدون توجيه اتهام في ظروف غير صحية بسجن بريتوريا المحلي، في حين أن حزب المؤتمر الوطني الأفريقي وPAC حظرا في أبريل. وهذا شكل صعوبة للمحامين في الوصول إليهم، وتم الاتفاق على أن فريق الدفاع في محاكمة الخيانة سينسحب احتجاجا. فمثل المعتقلون أنفسهم أمام المحكمة، وما لبثوا أن افرج عنهم من السجن عند رفع حالة الطوارئ في أواخر أغسطس. استخدم مانديلا وقت فراغه في تنظيم «الكل في المؤتمر الأفريقي» بالقرب من بيترماريتزبرج، ناتال، في مارس، حضره 1400 مفوضا من جميع الجماعات المناهضة للفصل العنصري، واتفقوا على «البقاء في بيوتهم» كعلامة احتجاج في يوم 31 مايو، وهو اليوم الذي أصبحت فيه جنوب أفريقيا جمهورية. في 29 مارس 1961، وبعد محاكمة دامت ست سنوات، نطق القضاة بحكم البراءة، ما شكل إحراجا للحكومة
سافر مانديلا في البلاد متخفيا ومتنكرا كسائق، لتنظيم وهيكلة خلية جديدة لحزب المؤتمر الوطني الأفريقي والإعداد لإضراب «البقاء في البيت» الشامل طوال يوم 29 مايو. في حين أصدرت الشرطة مذكرة لاعتقاله عقدت لقاءات سرية لمانديلا مع الصحفيين، وبعد فشل الحكومة في تفادي الإضراب، حذرهم من أن العديد من النشطاء المناهضين للفصل العنصري سيلجؤون قريبا للعنف من خلال جماعات مثل Poqo التابعة لـ PAC. [100] كان يعتقد أنه على حزب المؤتمر تشكيل جماعة مسلحة لتحكم في توجيه بعض هذا العنف، مقنعا كل من زعيم حزب المؤتمر الوطني الأفريقي ألبرت وثولي - الذي كان أخلاقيا معارضا للعنف - ومجموعات من الحلفاء الناشطين لضرورته
مستوحاة من حركة 26 يوليو التي قادها فيدل كاسترو وأشعلت الثورة الكوبية، شارك مانديلا في تأسيس «اومكونتو وي سيزوي» ("رمح الأمة"،) مع سيسولو والشيوعي جو سلوفو في عام 1961. واصبح مانديلا رئيسا لجماعة مسلحة، وأفاده ما كتبه كل من ماو تسي تونج وتشي جيفارا عن «حرب العصابات». رسميا، المجموعة منفصلة عن حزب المؤتمر الوطني الأفريقي، لكنها أصبحت في السنوات اللاحقة جناحه العسكري. وافق حزب المؤتمر الوطني الأفريقي على إرسال مانديلا، في فبراير 1962، مندوبا إلى اجتماع «حركة الحرية الأفريقية في شرق ووسط وجنوب أفريقيا» في أديس أبابا، إثيوبيا. بالطبع سافر متخفيا، والتقى مانديلا بالامبراطور هيلا سيلاسي الأول، وألقى كلمته بعد كلمة سيلاسي في المؤتمر.
بعد المؤتمر، سافر إلى القاهرة حيث أعجب بالإصلاحات السياسية للرئيس جمال عبد الناصر، ثم ذهب إلى مدينة تونس، حيث التقى بالرئيس الحبيب بورقيبة وتسلم منه 5،000 جنيه استرليني للأسلحة. انتقل بعدها إلى المغرب ومالي وغينيا وسيراليون وليبيريا والسنغال، وتلقى أموالا من الرئيس الليبيري وليام توبمان والرئيس الغيني أحمد سيكو توري. سافر بعدها إلى لندن (إنجلترا)، حيث التقى بنشطاء مناهضين للفصل العنصري، وصحفيين وسياسيين يساريين بارزين. عاد إلى إثيوبيا، وبدأ دورة تدريبية لمدة ستة أشهر حول حرب العصابات، ولكنه استدعي بعد شهرين فقط إلى جنوب أفريقيا
في 5 أغسطس 1962، اعتقلت الشرطة مانديلا مع سيسيل ويليامز بالقرب من هويك. وسجن في سجن مارشال سكوار بجوهانسبرج، تم توجيه له تهم التحريض على الإضرابات العمالية ومغادرة البلاد بدون إذن. مثل مانديلا نفسه بنفسه واتخذ سلوفو كمستشار قانوني، وسعى لاستخدام المحاكمة كعرض «لنصال حزب المؤتمر الوطني الأفريقي الأخلاقي ضد العنصرية»، في حين تظاهر أنصاره خارج المحكمة. نقل مانديلا إلى بريتوريا، حيث يمكن لويني زيارته، وفي زنزانته بدأ في دراسة بالمراسلات للتحضير لليسانس الحقوق (بكالوريوس في القانون) من جامعة لندن. بدأت جلسة الاستماع في 15 أكتوبر، وقد أحدث فيها مانديلا إضرابات بسبب ارتداءه للـ «كروس التقليدي» ورفضه استدعاء أي شهود، وتحويل مرافعته إلى خطاب سياسي. اعتبرت المحكمة مانديلا مذنبا، وحكمت عليه بالسجن لخمس سنوات
في 11 يوليو 1963، داهمت الشرطة مزرعة يليسليف واعتقلت من وجدتهم هناك، واكتشفت أوراقا توثق أنشطة MK، والتي ذكرت بعضها مانديلا. بدأت لاحقا «محاكمة ريفونيا» في المحكمة العليا في بريتوريا في 9 أكتوبر، واتهم مانديلا ورفاقه بأربع تهم بالتخريب والتآمر للإطاحة بالحكومة باستعمال العنف. كان بيرسي يوتار هو كبير ممثلي الادعاء، والذي طالب بتوقيع عقوبة الإعدام بالمتهمين. أسقط القاضي Quartus de Wet سريعا ملف الاتهامات لعدم كفاية الأدلة، لكن يوتار أعادة صياغة التهم، وقدم القضية مجددا ما بين ديسمبر وفبراير 1964، داعيا 173 شاهدا ومقدما الآلاف من الوثائق والصور إلى المحاكمة.
باستثناء جيمس كانتور الذي برئ من جميع التهم، اعترف مانديلا والمتهمون الآخرون بتهمة التخريب ولكنهم نفوا أي موافقة على اشعال حرب عصابات ضد الحكومة. واستخدموا المحاكمة لتسليط الضوء على قضيتهم السياسية، إحدى خطب مانديلا - المستوحاة من خطاب كاسترو "التاريخ سيغفر لي" - تناقلتها على نطاق واسع التقارير الصحافية على الرغم من الرقابة الرسمية. جلبت المحاكمة الاهتمام الدولي، مع دعوات دولية لإطلاق سراح المتهمين صدرت من مؤسسات مثل الأمم المتحدة ومجلس السلم العالمي. صوتت جامعة اتحاد لندن على مانديلا رئيسا لها، ونظمت وقفات احتجاجية ليلية أمام كاتدرائية سانت بول في لندن. ومع ذلك، تجاهلت حكومة جنوب أفريقيا جميع طلبات الرأفة، معتبرة بأن المتهمين هم محرضين شيوعين عنيفين. وفي 12 يونيو 1964، أعتبر القاضي دي ويت كل من مانديلا واثنين من المتهمين مذنبين في التهم الأربع، وحكم عليهم بالسجن مدى الحياة بدلا من الإعدام
نقل مانديلا وزملائه المتهمون من بريتوريا إلى سجن في جزيرة روبن آيلاند، حيث بقوا هناك لمدة 18 سنة. معزول عن السجناء غير سياسيين في القسم B، سجن مانديلا في زنزانة رطبة بمقاس 8 أقدام في 7 أقدام، بها حصيرة من القش للنوم عليها. لم يسلم من المضايقات الجسدية واللفظية من العديد من حراس السجن البيض، وكان سجناء محاكمة ريفونيا يقضون يومهم في كسر الصخور في المحاجر، حتى نقل في يناير 1965 إلى العمل في محجر الجير. في البداية، منع على مانديلا على ارتداء النظارات، ما تسبب في أضرار دائمة في بصره بسبب الجير. في الليل، كان يحضر لشهادة ليسانس الحقوق، ومنعت عنه الصحف، وكان حبس انفراديا في عدة مناسبات لحيازته قصاصات أخبار مهربة. بعد تصنيفه كسجين بأدنى درجة مراقبة (الدرجة D)، سمح له بزيارة واحدة ورسالة واحدة كل ستة أشهر، في ظل رقابة صارمة على كل بريده.
شارك السجناء السياسيون في الإضرابات عن العمل وعن الطعام - والتي اعتبرها مانديلا لاحقا بغير الفعالة إلى حد كبير - لتحسين أوضاع السجون، ونظر إليها كصورة مصغرة من النضال ضد الفصل العنصري انتخبوه سجناء حزب المؤتمر عضوا في "الجهاز العالي" جنبا إلى جنب مع سيسولو، غوفان مبيكي وريمون مهلابا، وشارك في مجموعة تمثل جميع السجناء السياسيين في جزيرة أولوندي، سمحت له بتوطيد صلاته مع PAC وأعضاء نادي «يو تشي تشان». أنشأ "جامعة جزيرة روبن"، حيث حاضر السجناء كل حسب خبرته وتخصصه، وتناقش مع رفاقه في مواضيع مثل : الشذوذ الجنسي والسياسة، أدخلتهم في محاججة شرسة مع الماركسيين مثل مبيكي وهاري جوالا رغم مسيحيته وحضوره لقداس الأحد، إلا مانديلا درس الإسلام. ودرس اللغة الأفريكانية أيضا، رغبة منه في بناء احترام متبادل مع السجانين وكسبهم في صالح قضيته. زار مسؤولون رسميون مانديلا، وكان أهمهم ممثلة الجناح البرلماني الليبرالي هيلين سوزمان من الحزب التقدمي، والتي دافعت عن قضية مانديلا خارج السجن. وفي سبتمبر 1970 التقى النائب البريطاني دنيس هيلي من حزب العمال. وزاره وزير العدل لجنوب أفريقيا جيمي كروجر في ديسمبر 1974، ولكنه لم يتوافق مع مانديلا. زارته والدته في عام 1968، قبل وفاتها بفترة وجيزة، وابنه البكر ثيمبي الذي توفي في حادث سيارة في العام التالي. ومنع مانديلا من حضور جنازتهمالم تكن زوجته قادرة على زيارته إلا نادرا، لتكرار سجنها بسبب نشاطها السياسي، في حين زارته بناته للمرة الأولى في ديسمبر 1975، خرجت ويني من السجن في عام 1977 ولكنها خضعت لإقامة جبرية في براندفورت،فلم تقدر على زيارته.
بداية من سنة 1967، بدأت تتحسن ظروف السجن، فأعطي السجناء السود سراويل بدلا عن تبابين، وسمح بالألعاب، وتحسنت جودة الأغذية. في عام 1969، دبر بروس غوردون لخطة لفرار مانديلا، قبل أن يتم التخلي عنها نتيجة لاختراق لعميل من مكتب جنوب أفريقيا للأمن الدولة كان يأمل في أن يطلق النار على مانديلا في حال هروبه.
وبحلول أواخر ستينيات القرن الماضي، كانت شهرة مانديلا قد حجبتها شعبية ستيف بيكو وحركة الوعي السود. هذه الحركة، التي كانت تنظر إلى حزب المؤتمر الوطني الأفريقي بأنه غير فعالا، دعت إلى تحرك المناضلين، ولكن في أعقاب انتفاضة سويتو عام 1976، سجن الكثير من نشطاء BCM في جزيرة روبن. حاول مانديلا بناء علاقة مع هؤلاء الشبان المتطرفين، ولكنه كان منتقدا لعنصريتهم وازدرائهم للنشطاء البيض المناهضين للفصل العنصري. تجدد الاهتمام الدولي في بمحنته في يوليو عام 1978 عندما احتفل بعيد ميلاده الستين. وحصل على دكتوراه فخرية في ليسوتو، وجائزة جواهر لال نهرو للتفاهم الدولي في الهند في عام 1979 وجائزة الحرية لمدينة غلاسكو أسكتلندية في عام 1981.
في مارس 1980، رفع الصحفي Percy Qoboza شعار "الحرية لمانديلا"، ما أثار حملة دولية دفعت مجلس الأمن الدولي إلى الدعوة لإطلاق سراحه. على الرغم من تزايد الضغوط الخارجية، رفضت الحكومة الرضوخ مستندة على قوة تحالفاتها الخارجية، في ظل الحرب الباردة، بالرئيس الأمريكي رونالد ريغان ورئيسة الوزراء البريطانية مارغريت تاتشر، وكانت تاتشر تنظر لمانديلا على أنه شيوعي وإرهابي وأيدت إزالة حزب المؤتمر الوطني الأفريقي.
في أبريل 1982، تم نقل مانديلا إلى سجن بولسمور في توكاي، كيب تاون مع كبار قادة حزب المؤتمر الوطني الأفريقي كـ والتر سيسولو وأندرو ملانجني واحمد كثرادا وريمون مهلابا ؛ وأعربوا عن اعتقادهم بأن الهدف من عزلهم هو القضاء على تأثيرهم في النشطاء الأصغر سنا. كانت الأوضاع في بولسمور أفضل مما كانت عليه في جزيرة روبن، إلا أن مانديلا افتقد الصداقة وأجواء الجزيرة. وجود العلاقات الجيدة مع الضابط الآمر ببولسمور، العميد مونرو، سمح لمانديلا بإنشاء حديقة على السطح، والقراءة بنهم والتراسل على نطاق واسع، فسمح له الآن بـ 52 رسالة في السنة. تم تعيينه رئيس للجبهة الديمقراطية المتحدة متعددة الأعراق)، والتي تأسست لمحاربة الإصلاحات التي أقدم عليها رئيس جنوب أفريقيا الأسبق بوتا وكانت حكومة بوتا من الحزب الوطني قد سمحت للمواطنين الملونين والهنود بانتخاب برلماناتهم التي سيكون لها السيطرة على التعليم والصحة والإسكان، ولكن الأفارقة السود استبعدوا من هذا النظام، فرأى فيه مانديلا وكذا جبهة على أنه محاولة لتقسيم الحركة المناهضة للفصل العنصري على أسس عرقية.
تصاعدت أعمال العنف في أنحاء البلاد، وازدادت المخاوف من حرب أهلية. وتحت ضغط من اللوبي الدولي، توقفت البنوك متعددة الجنسيات عن الاستثمار في جنوب أفريقيا، مما أدى إلى ركود اقتصادي. طالب العديد من البنوك وتاتشر من بوتا باطلاق سراح مانديلا - المشهور عالميا - لنزع فتيل الوضع المتفجر رغم اعتباره لمانديلا بأنه ماركسي متشدد وخطر،إلا أن بوتا عرض عليه في فبراير 1985 الإفراج من السجن بشرط «التخلي عن العنف كسلاح سياسي دون قيد». رفض مانديلا العرض، وأصدر بيانا عبر ابنته زندزي افتتحه بقوله "ما حرية المعروضة عليا في حين أن منظمة الشعب [ANC] لا تزال محظورة؟ فقط الأحرار يمكنهم التفاوض. سوى الرجال الأحرار. لا يمكن للسجين أن يتدخل في عقود. "
في عام 1985، خضع مانديلا لعملية جراحية على غدة البروستات متضخمة، قبل زنزانة انفرادية في الطابق الأرضي. التقى بـ"سبعة أشخاص بارزين"، أفراد وفد دولي للتفاوض للوصول إلى تسوية، ولكن حكومة نظام بوتا رفضت التعاون، وفي يونيو أعلنت حالة الطوارئ ودفعت بالشرطة لفض الاضطرابات. عادت الحركة المناهضة للفصل العنصري للمقاومة والكافح، فشن حزب المؤتمر الوطني الأفريقي 231 هجمة في عام 1986 و 235 هجمة في عام 1987. استعمل الجيش والفرق شبه العسكرية اليمينية لمحاربة المقاومة، ومولت الحكومة سرا حركة الزولو انكاثا القومية لمهاجمة أعضاء حزب المؤتمر الوطني الأفريقي، لتزيد وتيرة العنف.
طلب مانديلا التحادث مع بوتا ولكن طلبه رفض، وبدلا من ذلك اجتمع سرا بوزير العدل Kobie Coetsee في عام 1987، تلتها 11 جلسة على مدى ثلاث سنوات. رتب Coetsee لمفاوضات بين مانديلا وفريق من أربعة رموز للحكومة ابتداءا من شهر مايو عام 1988. ووافق الفريق على إطلاق سراح السجناء السياسيين وإضفاء الشرعية على حزب المؤتمر الوطني الأفريقي بشرط نبذهم للعنف بشكل دائم وكسر الروابط مع الحزب الشيوعي وعدم الإصرار على حكم الأغلبية. رفض مانديلا الشروط، وأصر بأن حزب المؤتمر الوطني الأفريقي سينهي الكفاح المسلح عندما تخلت الحكومة العنف.
جذبت مناسبة عيد ميلاد مانديلا 70 في يوليو 1988 الاهتمام الدولي، فنظمت هيئة الإذاعة البريطانية احتفالا موسيقيا بعيد ميلاد نيلسون مانديلا الـ 70 في استاد ويمبلي بلندن. وقدم عالميا كشخصية بطلة
تعافى من مرض السل الذي أصيب به جراء الشروط الصحية المتدهورة لزنزانته، في ديسمبر 1988، نقل مانديلا إلى سجن فيكتور فيرستر بالقرب من بارل. هناك، وجد راحة نسبية في منزل الحراس مع طباخ شخصي، واستغل الوقت للتحضير لشهادة ليسانس الحقوق. سمح للكثير بزيارته، أجرى مانديلا من خلالها اتصالات سرية مع زعيم حزب المؤتمر الوطني الأفريقي المنفي أوليفر تامبو. في عام 1989، عانى بوتا من جلطة دماغية، فتنحى عن زعامة الحزب الوطني لصالح المحافظ ف.و. دي كليرك، واستبقى رئاسة الدولة. في خطوة مفاجئة، دعا بوتا مانديلا إلى جلسة شاي في يوليو عام 1989، اعتبر مانديلا الدعوة برائعة. بعد ستة أسابيع انتقلت رئاسة الدولة من بوتا إلى دي كليرك. اعتقد الرئيس الجديد بأن نظام الفصل العنصري غير قابل للاستمرار، فأطلق سراح جميع سجناء حزب المؤتمر الوطني الأفريقي دون قيد أو شرط باستثناء مانديلا. بعد سقوط جدار برلين في نوفمبر 1989، دعا دي كليرك مكتبه للاجتماع ومناقشة تقنين حزب المؤتمر الوطني الأفريقي وتحرير مانديلا. كان البعض معارضين بشدة لخططه، التقى دي كليرك مع مانديلا في ديسمبر لمناقشة الوضع، اللقاء اعتبره الطرفان بالودي، قبل الإفراج عن مانديلا دون قيد أو شرط وإضفاء الشرعية على كل الأحزاب السياسية المحظورة سابقا في 2 فبراير 1990.
ترك مانديلا سجن فيكتور فيرستر في 11 فبراير، وقابل الحشود التي اجتمعت والصحافة وهو ممسك بيد زوجته ويني، وقد بث الحدث على الهواء مباشرة إلى جميع أنحاء العالم انتقل إلى مقر بلدية كيب تاون وسط الحشود، حيث ألقى خطابا أعلن فيه عن التزامه بالسلام والمصالحة مع الأقلية البيضاء، كما أوضح أن كان الكفاح المسلح لحزب مؤتمر الوطني الأفريقي لم ينته بعد، وأنه سيستمر «كإجراء دفاعي بحت ضد عنف نظام الفصل العنصري». واعرب عن أمله أن توافق الحكومة على المفاوضات، بحيث "لا تكون هناك أي ضرورة للكفاح المسلح"، وأصر على أن تركيزه الأساسي هو إحلال السلام لغالبية السود وإعطاؤهم الحق في التصويت في الانتخابات الوطنية والمحلية. في الأيام التالية، مكث في منزل ديزموند توتو، حيث التقى مانديلا بالأصدقاء والناشطين والصحافة. وألقى خطابا على 100،000 شخص في ملعب سوكر سيتي بجوهانسبرج
شرع مانديلا في جولة أفريقية، التقى خلالها مشجعين وسياسيين في زامبيا وزيمبابوي وناميبيا وليبيا والجزائر، ثم انتقل إلى السويد حيث التقى بتامبو، وفي لندن، ظهر في حفل لـ «نيلسون مانديلا : منبر دولي من أجل الحرية في جنوب أفريقيا» في استاد ويمبلي. شجع مانديلا الدول الأجنبية على دعم فرض عقوبات ضد حكومة الفصل العنصري. في فرنسا، استقبله الرئيس فرانسوا ميتران، وفي الفاتيكان البابا يوحنا بولس الثاني، والتقى في انجلترا بمارجريت تاتشر. حظي في الولايات المتحدة، باستقبال الرئيس جورج بوش الأب وألقى خطابا في مجلسي النواب والشيوخ وزار ثماني مدن أمريكية، وكان مانديلا يتمتع شعبية خاصة بين الأميركيين من أصول أفريقية. في كوبا، التقى بالرئيس فيدل كاسترو، الذي كان قدوته لفترة طويلة، وجمعت بين الاثنين صداقة. في آسيا، قابل الرئيس ر. فينكاتارامان في الهند، والرئيس سوهارتو في إندونيسيا ورئيس الوزراء مهاتير محمد في ماليزيا، قبل زيارة أستراليا واليابان، والملاحظ أنه لم يقم بزيارة الاتحاد السوفياتي، الذي أيد حزب المؤتمر الوطني الأفريقي لفترة طويلة
في مايو 1990، قاد مانديلا وفدا متعدد الأعراق من حزب المؤتمر الوطني الأفريقي في مفاوضات أولية مع وفد حكومي من 11 رجلا أفريكاني. أثار مانديلا أعجبهم عندما تحدث عن تاريخ الأفريكانية، توصلت المفاوضات إلى دقيقة “شور غروت”، التي خلالها قررت الحكومة رفع حالة الطوارئ. في أغسطس، عرض مانديلا - وهو مدرك لضرر العمل العسكري على حزب المؤتمر - وقفا لإطلاق النار. العرض جوبه بانتقادات واسعة من نشطاء ما دفع بمانديلا لقضاء الكثير من الوقت في محاولة لتوحيد وبناء حزب المؤتمر الوطني الأفريقي، ولدى ظهوره في مؤتمر جوهانسبرغ في ديسمبر والذي حضره 1600 مندوبا، وجده الكثير منهم أكثر اعتدالا مما كان متوقعا. في يوليو 1991، أثناء المؤتمر الوطني للحزب في ديربان، اعترف مانديلا بأخطاء الحزب وأعلن عن هدفه في بناء "فريق مهام قوي ومؤهل" لتأمين حكم الأغلبية. في المؤتمر، انتخب مانديلا رئيسا لحزب المؤتمر الوطني الأفريقي، ليحل محل تامبو المريض، كما تم انتخاب 50 عضوا تنفيذيا من أعراق وأجناس متعددة.
صار لمانديلا مكتب في المقر الجديد لحزب المؤتمر الوطني الأفريقي في شل هاوس، وسط جوهانسبرغ، في الوقت الذي انتقل مع ويني إلى منزلها الواسع بسويتو. توترت حياته الزوجية بشكل متزايد كلما ازداد دراية بعلاقة ويني بقضية «دالي مبوفو»، ولكنه وقف إلى جانبها طيلة فترة محاكمتها بتهم الخطف والاعتداء. حصل على تمويل للدفاع عنها من «الصندوق الدولي للدفاع والمعونة في جنوب أفريقيا» ومن الزعيم الليبي معمر القذافي. ولكنها أدينت في يونيو 1991 وحكم عليها بالسجن لمدة ست سنوات، خفضت إلى اثنتين بعد الاستئناف. في 13 أبريل 1992، أعلن مانديلا على الملأ انفصاله عن ويني، في حين اضطرها حزب المؤتمر الوطني الأفريقي إلى التنحي من التنفيذي الوطني لاختلاس أموال حزب المؤتمر، وانتقلت مانديلا إلى ضاحية جوهانسبرغ ذات الغالبية البيضاء من هوتون لحقت أضرار بسمعة مانديلا بتزايد العنف بين السود، وخاصة بين حزب المؤتمر وأنصار انكاثا في كوازولو ناتال، سقط ضحيتها آلاف الموتى. التقى مانديلا بزعيم قبيلة بوتليزي، في حين منع حزب المؤتمر المزيد من المفاوضات بشأن هذه المسألة. اعترف مانديلا بوجود "قوة ثالثة" في أجهزة استخبارات الدولة تعمل على تأجيج "ذبح الشعب" وألقى باللوم صراحة على دي كليرك - الذي بدأ يفقد الثقة به بشكل متزايد - في مجزرة. Sebokeng] في سبتمبر 1991، تم عقد مؤتمر للسلام الوطني في جوهانسبرج وقع خلاله كا من مانديلا وبوثيليزي ودي كليرك على اتفاق سلام، ورغم ذلك استمر العنف.
بدأت مباحثات كوديسا أو «اتفاقية إرساء الديمقراطية في جنوب أفريقيا » في ديسمبر 1991 بمركز جوهانسبرغ التجارة العالمية، وحضره 228 مندوبا من 19 حزبا سياسيا. وترأس سيريل رامافوزا وفد حزب المؤتمر الوطني الأفريقي، وبقي مانديلا شخصية رئيسية، وبعد أن استخدم دي كليرك كلمته الختامية لإدانة العنف من جانب حزب المؤتمر الوطني الأفريقي، جاء دور مانديلا في الكلمة ليندد بدي كليرك كـ"رئيس لنظام الأقلية التي فقدت مصداقيتها وشرعيتها". هيمن الحزب الوطني وحزب المؤتمر الوطني على المفاوضات التي حققت بعض التقدم. عقدت الجولة الثانية من المفاوضات في مايو 1992، وفيها أصر دي كليرك على أن مرحلة ما بعد نظام الفصل العنصري في جنوب أفريقيا يجب أن تستخدم نظاما اتحاديا برئاسة دورية لضمان حماية الأقليات العرقية؛ اعترض مانديلا على هذا الأمر، مطالبا بنظام موحد حكم فيه للأغلبية في أعقاب مذبحة بوباتونج التي ذهب ضحيتها نشطاء من حزب المؤتمر الوطني الأفريقي على يد نشطاء انكاثا بمساعدة الحكومة، دعا مانديلا لإيقاف المفاوضات، قبل حضور اجتماع لمنظمة الوحدة الأفريقية في السنغال، وطلب فيه بعقد دورة استثنائية لمجلس الأمن للأمم المتحدة، واقترح نشر قوات حفظ السلام التابعة للامم المتحدة في جنوب أفريقيا لمنع "إرهاب الدولة". رد الأمم المتحدة جاء في وقت لاحق بإرسال المبعوث الخاص سايروس فانس إلى جنوب أفريقيا للمساعدة في المفاوضات. بدعوة لعمل محلي، نظم حزب المؤتمر الوطني الأفريقي أكبر إضراب في تاريخ جنوب أفريقيا في أغسطس، في حين سار الأنصار في بريتوريا.