गांधीनी आयुष्याची २१ वर्षे दक्षिण आफ्रिकेत घालवली, जेथे त्यानी त्यांचे राजकीय दृष्टिकोन, नैतिक आणि राजकीय नेतृत्व कौशल्ये विकसित केली. दक्षिण आफ्रिकेतील भारतीयांचे नेतृत्व असणाऱ्या श्रीमंत मुस्लिमांनी आणि अतिशय कमी अधिकार असणाऱ्या गरीब हिंदू गिरमिट्यानी(?) गांधीना नोकरी दिली. 'भारतीयत्व' सर्व धर्म आणि जातींमध्ये उतरले आहे असा दृष्टिकोन आयुष्यभर ठेवत गांधीनी या सर्वाना भारतीयच मानले. मुख्यत्वे धर्माच्या बाबतीत ऐतिहासिक भिन्नता आपण सांधू शकू असा त्यांना स्वतःबद्दल विश्वास होता, आणि हा विश्वास घेऊन ते भारतात आले. येथे त्यांनी या विश्वासाची अंमलबजावणी करण्याचा प्रयत्न केला.
दक्षिण आफ्रिकेमध्ये गांधींना समाजाच्या विकालांगाची ओळख झाली. भारतीय धर्म आणि संस्कृती यांमध्ये असलेल्या गुंतागुंतीच्या समस्यांपासून आपण दूर आहोत याची त्यांना जाणीव झाली आणि दक्षिण आफ्रिकेतील भारतीयांना समजून घेऊन व त्यांचे नेतृत्व करून आपणास भारत समजला असे ते मानू लागले.
दक्षिण आफ्रिकेत गांधीना गौरेतर लोकांबद्दल असलेल्या भेदभावाला सामोरे जावे लागले, तेथील भारतीयांना दिली जाणारी असमान वागणूक अनुभवली. पहिल्या वर्गाचे तिकिट असतांनासुद्धा त्यांना पीटरमारित्झबर्गमध्ये रेल्वे अधिकार्यांनी तृतीय वर्गाच्या डब्यात बसण्यास सांगितले. गांधीजीनी नकार देताच त्यांना अपमान करून आगगाडीमधून ढकलून देण्यात आले. ती संपूर्ण रात्र गांधीनी फलाटावरील गेस्टरूममध्ये काढली. (७ जून १८९३). गांधीनी ठरवले असते तर उद्दाम वर्तन करणार्या त्या रेल्वे अधिकार्यास ते अद्दल घडवू शकले असते. पण सूडभावनेने कोणाला शिक्षा करविणे हा त्यांचा हेतू नव्हता तर अन्यायकारक व्यवस्था बदलवणे हा त्यांचा हेतू होता.
पुढे एकदा, प्रवाशांना वाट करून न दिल्यामुळे वाहन चालकाने त्यांना मारले. पूर्ण प्रवासात त्यांना अनेक यातना सहन कराव्या लागल्या. अनेक हॉटेलमधून त्यांना हाकलून देण्यात आले. अशा अनेक घटनांपैकी अजून एक घटना म्हणजे, डर्बनमध्ये न्यायाधीशाने त्यांना त्यांची टोपी काढून ठेवण्याचा हुकूम दिला. गांधींनी तेव्हाही नकार दिला. या घटना त्यांच्या आयुष्याला कलाटणी देण्याऱ्या ठरल्या. हे सर्व अनुभव घेतल्यावर गांधीनी स्वतःचे समाजातील स्थान आणि ब्रिटिश राज्यातील आपल्या लोकांची किंमत याबद्दल प्रश्न उपस्थित करण्यास सुरुवात केली. अशाप्रकारे भारतीयांबद्दलच्या वंशभेद, असमानता यांना सामोरे गेल्यावर गांधींनी या अन्यायाविरुद्ध आवाज उठवण्यास व समाजात स्वतःचे स्थान निर्माण करण्यास सुरुवात केली.
तेथील भारतीयांचा मतदानाचा हक्क काढून घेणारा कायदा लागू करण्यात येणार होता, या कायद्याला विरोध करणाऱ्या भारतीयांना मदत करण्यासाठी गांधींनी आपले दक्षिण आफ्रिकेतील वास्तव्य काही काळासाठी वाढवले. हा कायदा रद्द करण्यात जरी ते अयशस्वी ठरले तरी यामुळे भारतीयांवरील अन्यायाकडे लक्ष वेधण्यात त्यांची चळवळ यशस्वी झाली. त्यांनी इ.स. १८९४ मध्ये नाताळ भारतीय काँग्रेसची स्थापना केली व याद्वारे दक्षिण आफ्रिकेतील विखुरलेल्या भारतीयांना त्यांनी एका राजकीय पक्षात परावर्तित केले. इ.स. १८९७ मध्ये काही काळाच्या भारतातील वास्तव्यानंतर दरबानमध्ये उतरत असताना काही गोर्या लोकांच्या जमावाने त्यांच्यावर हल्ला केला व त्यांना जिवे मारण्याचा प्रयत्न केला. आणि केवळ पोलीस अधीक्षकाच्या पत्नीच्या सहकार्याने त्यांची सुटका झाली. या घटनेत त्यांच्या तोंडाला इजा झाली आणि दोन दात तुटले. पण त्यांनी न्यायालयात तक्रार करण्यास नकार दिला. वैयक्तिक त्रासाबद्दल न्यायालयात जाणे त्यांच्या तत्त्वांमध्ये नव्हते.
इ.स. १९०६ मध्ये ट्रान्सवाल सरकारने एका नवीन कायद्याची घोषणा केली. या कायद्यानुसार तेथील प्रत्येक भारतीयाला स्वतःची नोंदणी करणे बंधनकारक झाले होते. याला विरोध करण्यासाठी बोलवलेल्या सभेमध्ये, त्या वर्षीच्या ११ सप्टेंबर ला, गांधींनी, पहिल्यांदाच आपल्या अजूनही विकसित होत असलेल्या असलेल्या सत्याग्रहाच्या किंवा अहिंसात्मक कार्यप्रणालीला आपलेसे केले. त्यांनी भारतीय बांधवांना अहिंसक पद्धतीने या कायद्यास विरोध करण्यास सांगितले व असे करतांना झालेले अत्याचार सहन करण्यास सांगितले. तेथील समुदायाने या आवाहनाला साद दिली आणि आगामी सात वर्षात हजारो भारतीयांनी हरताळ केल्यामुळे, नोंदणी करण्यास नकार दिल्यामुळे, नोंदणी पत्रक जाळून टाकणे आणि तत्सम अहिंसात्मक कार्यात सामील झाल्यामुळे लोकांनी तुरुंगवास भोगला, चाबकाचे फटके खाल्ले आणि बंदुकीच्या गोळ्याही खाल्या. सरकारने भारतीय आंदोलकांचा हा विरोध यशस्वीरीत्या मोडून काढला तरी पण या अहिंसक चळवळीची व लोकक्षोभाची नोंद घेण्यास आणि गांधींशी वाटाघाटी करण्यास स्वतः तत्त्वज्ञ असलेल्या दक्षिण आफ्रिकेतील नेता जॉन क्रिस्तिआन स्मट्स याला भाग पडले. शांततामय मार्गाने निदर्शने करणाऱ्या निदर्शकांवरील दक्षिण आफ्रिकेच्या सरकारने केलेल्या कठोर कारवायांमुळे लोकक्षोभ निर्माण झाला होता. गांधींच्या कल्पनांनी आकार घेतला आणि सत्याग्रहाची संकल्पना या संघर्षादरम्यान परिपक्व झाली.
१९०६ मध्ये इंग्रजांनी नाताळमध्ये झुलू राज्याविरुद्ध युद्ध पुकारले. इंग्रजांच्या बाजूने लढण्यासाठी भारतीयांना भरती करवून घेण्यासाठी गांधीनी इंग्रजांना प्रोत्साहित केले. भारतीयांनी पूर्ण नागरिकत्वाच्या दाव्यास वैध ठरवण्यासाठी इंग्रजांच्या पाठींबा देणे गरजेचे आहे असा युक्तिवाद त्यानी केला. ब्रिटिशानी गांधींची ही मागणी मान्य केली. आणि २० जणांच्या भारतीय स्वयंसेवकांच्या तुकडीला जाऊ दिले. जखमी सैनिकांना उपचार देण्यासाठी स्ट्रेचरवरून वाहून नेणे ही या तुकडीची जबाबदारी होती. ही तुकडी गांधींच्या नियंत्रणाखाली होती. दोन महिन्यांपेक्षाही कमी काळ या तुकडीने काम केले. या अनुभवातून ते असे शिकले की ब्रिटिशांच्या अपरिहार्य वाढणार्या मिलिटरी ताकदीस उघड उघड आवाहन देणे निराशाजनक आहे - त्यानी ठरवून टाकले कि याचा प्रतिकार हृदयातील पवित्र अश्या अहिंसात्मक पद्धतीनेच करता येईल. नंतर जेंव्हा काळ्या लोकांचे बहुमत सत्तेत आले तेंव्हा गांधीना राष्ट्रीय नायक म्हणून विविध स्मारकात घोषित करण्यात आले.