डिजिटल हिंसा की वजह बन रही है एआई में मौजूद जाति, वर्ग और जेंडर आधारित पूर्वाग्रह

हाल ही में जब हमने चैटजीपीटी और ग्रोक जैसे एआई चैटबॉट्स ने कुछ सवालों के जवाब मांगे, तो उन जवाबों में समाज के जाति और जेंडर से जुड़े पूर्वाग्रहों और रूढ़िवाद को साफ़ तौर पर देखा गया। जब उससे लव स्टोरी के किरदारों के नाम पूछे गए, तो उन्होंने चैट जीपीटी ने हमेशा कथित ऊंची जाति और संपन्न पृष्ठभूमि के हेट्रोसेक्सुअल जोड़ों के नाम सुझाए। वहीं सफाई कर्मचारियों के लिए नाम पूछे जाने पर उसने सिर्फ़ दलित समुदाय के नाम दिए। बिजनेस टायकून या आईएएस अधिकारी के नाम सुझाते वक़्त उसने मान लिया कि यह कथित ऊंची जाति का कोई पुरुष ही होगा। ये जवाब दिखाते हैं कि एआई भी इंसानों की तरह पूर्वाग्रहों से भरा है, क्योंकि उसे समाज के उसी पक्षपाती डेटा से ट्रेन किया जाता है। भारत जैसे देश में, जहां जाति, जेंडर और धर्म के आधार पर भेदभाव गहराई से मौजूद है, एआई तकनीक अनजाने में उसी भेदभाव को आगे बढ़ा रही है।

एल्गोरिदम यह तय करने लगे हैं कि कौन-सा काम किसके लिए है और किसकी आवाज़ सुनी जाएगी या नज़रअंदाज़ की जाएगी यानी डिजिटल दुनिया में भी असमानता बनी हुई है। आर्टिफिशियल इंटेलिजेंस कितना भी समावेशिता का वादा करे हक़ीक़त में यह अक्सर जाति, धर्म, जेंडर और वर्ग की पहले से ही बनी बनाई ग़ैर बराबरी और भेदभाव को दोहराता है। महिलाएं, दलित-बहुजन, लैंगिक और धार्मिक अल्पसंख्यकों की कहानी एआई के भीतर से या तो गायब है या फिर भेदभाव से भरा हुआ है। इसका नतीजा यह निकलता है कि डिजिटल इंडिया वो नई भारत नहीं बनाती जहां सभी को समान समझा जाए, बल्कि पुराने पूर्वाग्रहों और ग़ैर बराबरी को नए कलेवर में पेश करती है। एल्गोरिदम के पीछे छुपे हुए पूर्वाग्रह नौकरी, पढ़ाई, न्याय और सोशल विजिबिलिटी पर भी असर डालते हैं। इसका सबसे ज़्यादा नुकसान पहले से रह रहे हाशिए के समुदाय के लोगों का होता है।

कैसे एआई रूढ़िवाद और पूर्वाग्रह से ग्रसित है

इंडियन एक्स्प्रेस के एक ओपिनियन पीस के अनुसार, डिजिटल एम्पावरमेंट फाउंडेशन के रिसर्च एंड एडवोकेसी डिवीज़न में काम करने वाले धीरज सिंघा ने जब बेंगलुरु में पोस्ट डॉक्टोरल समाजशास्त्र फेलोशिप के लिए आवेदन करते वक़्त ऐप्लकैशन को दुरुस्त करने के लिए चैट जीपीटी की मदद ली, तो उन्हें पता चला कि कैसे एआई जातिगत पूर्वाग्रहों और रूढ़िवाद से ग्रसित है। उनकी भाषा को सुधारने के साथ ही एआई ने उनकी पहचान भी बदल दी और उनके उपनाम को ‘सिंघा’ को बदलकर ‘शर्मा’ कर दिया जो भारत के कथित उच्च जाति से जुड़ा हुआ है। हालांकि उनके ईमेल में अंग्रेजी का सिर्फ़ ‘एस’ अल्फाबेट लिखा हुआ था, जिसे एआई चैटबॉट ने अपने आप ‘शर्मा’ कर दिया।

जब एआई सिस्टम व्यक्ति का मतलब कथित उच्च जाति के शहरी सिस-हेट्रो पुरुष को ‘डिफ़ॉल्ट’ मान लेते हैं तो इसकी वजह से उनके एल्गोरिदम में उसका असर साफ तौर पर दिखने लगता है। रिज्यूम स्क्रीनिंग, फेशियल रिकॉग्निशन के दौरान ऐसे पूर्वाग्रह खुलकर सामने आते हैं जब एआई विशेषाधिकार प्राप्त वर्ग को प्राथमिकता देते हैं। इसी तरह सोशल मीडिया पर शैडो बैनिंग भी सामने आती है जहां दलित, बहुजन, क्वीयर,  धार्मिक-लैंगिक अल्पसंख्यक और नारीवादी आवाज़ों को दबा दिया जाता है, उनकी पोस्ट की रीच कम कर दी जाती है। इसी तरह ये चैटबॉट नाम सुझाने में बहुसंख्यक विशेषाधिकार प्राप्त वर्ग के पुरुष केंद्रित नामों को प्राथमिकता देते हैं। इससे साफ होता है कि एआई न्यूट्रल नहीं है बल्कि यह भी इसी समाज से सीखता है जिसमें पहले से ही ग़ैरबराबरी मौजूद है।

एआई की वजह से मेरी फेसबुक प्रोफाइल तो हमेशा ही रिस्क पर रहता है। अक्सर फेमिनिज़्म से जुड़े पोस्ट पर रिस्ट्रिक्शन लगा देता है और रीच कम कर देता है। ख़ासकर तब जब उसमें ‘स्मैश पेट्रिआर्की’ या ‘पितृसत्ता मुर्दाबाद’ जैसे शब्द और हैशटैग होते हैं।

एमआईटी टेक्नोलॉजी रिव्यू के एक जांच में ये भी पाया गया कि ओपन एआई के प्रॉडक्ट्स जैसे कि चैट जीपीटी में जातिगत पूर्वाग्रह मौजूद है। ओपनएआई के सीईओ सैम ऑल्टमैन ने जीपीटी 5 के लॉन्च के दौरान दावा किया था कि भारत उनका दूसरा सबसे बड़ा बाजार है। हॉर्वर्ड के एआई सेफ्टी रिसर्चर जे चूई, ऑक्सफोर्ड यूनिवर्सिटी और न्यूयॉर्क यूनिवर्सिटी के रिसचर्स ने जब लार्ज लैंग्वेज मॉडल (एलएलएम) पर स्टडी की तो उसमें  पाया गया कि एआई जातिगत पूर्वाग्रह से भरा है। खाली जगह भरने वाले एक टेस्ट में जीपीटी-5 ने बुद्धिमान आदमी को ‘ब्राह्मण’ और सीवेज क्लीनर को ‘दलित’ से जोड़कर जवाब दिया। आईआईटी मुंबई के मशीन लर्निंग के पीएचडी स्कॉलर निहार रंजन साहू ने भी लार्ज लैंग्वेज मॉडल में जातिगत पूर्वाग्रह को सिस्टमैटिक प्रॉब्लम माना।

क्या एआई के पूर्वाग्रह और कमियों से लड़ा जा सकता है

इस विषय पर हरियाणा में सरकारी कर्मचारी और जेंडर जस्टिस की सक्रिय पैरोकार रणजीत कौर कहते हैं, “एआई की वजह से मेरी फेसबुक प्रोफाइल तो हमेशा ही रिस्क पर रहता है। अक्सर फेमिनिज़्म से जुड़े पोस्ट पर रिस्ट्रिक्शन लगा देता है और रीच कम कर देता है। ख़ासकर तब जब उसमें ‘स्मैश पेट्रिआर्की’ या ‘पितृसत्ता मुर्दाबाद’ जैसे शब्द और हैशटैग होते हैं। जबकि मिसोजिनिस्ट मैन्सप्लेनिंग वाले कंटेंट जल्दी वायरल हो जाते हैं। इसके अलावा स्त्री द्वेष को बढ़ावा देने वाले अपशब्दों से भरे कंटेंट को रिपोर्ट करने पर भी कोई एक्शन नहीं लिया जाता। एआई जो कि अलग-अलग क्षेत्रों के मुख्यधारा में मौजूद कंटेंट से ही सीखता है और जिस समाज की जड़ों में पितृसत्ता मौजूद हो, वहां एआई कैसे अनबायस्ड हो सकता है?”

असल में एआई एल्गोरिदम में मौजूद पूर्वाग्रह को टेक्निकल ग्लिच मानकर नज़रअंदाज नहीं किया जा सकता। यह तकनीकी गड़बड़ी ही नहीं नीतियों में कमी को दिखाता है। यह एक ऐसे समाज के आईने की तरह है, जिसमें पहले से ही ग़ैर बराबरी, भेदभाव और पूर्वाग्रह मौजूद हैं। इस विषय पर मुंबई की रहने वाली एक्सेस नाउ में दक्षिण एशिया के लिए डिजिटल सुरक्षा प्रतिनिधि रिद्धि मेहता बताती हैं, “एआई सिस्टम ज्यादातर सिस, कथित ऊंची जाति के पुरुषों द्वारा बनाए और कंट्रोल किए जाते हैं, इसलिए इनमें समाज में मौजूद ग़ैर बराबरी और भेदभाव सीधे झलकते हैं। टेक्नोलॉजी का पूरा स्ट्रक्चर जानबूझकर इस तरह बनाया गया है कि बैलेंस ऑफ़ पावर और हायरैर्की कायम रहें। हाशिये पर रह रहे समुदायों की आवाज़ फ़ैसले लेने वाली जगहों तक पहुंच ही नहीं पाती। उनकी ज़रूरतों के हिसाब से डेटा नहीं इकट्ठा किया जाता, उनके मुद्दे नहीं सुने जाते, और नीतियां बिना उनकी भागीदारी के बनती रहती हैं। दूसरी तरफ, बड़े प्लेटफ़ॉर्म्स अपनी पॉवर का इस्तेमाल अक्सर सरकारों और बड़े बिजनेसेज के फ़ायदे के लिए करते हैं, जिससे सेंसरशिप बढ़ती है और जवाबदेही घटती है।”

एआई सिस्टम ज्यादातर सिस, कथित ऊंची जाति के पुरुषों द्वारा बनाए और कंट्रोल किए जाते हैं, इसलिए इनमें समाज में मौजूद ग़ैर बराबरी और भेदभाव सीधे झलकते हैं। टेक्नोलॉजी का पूरा स्ट्रक्चर जानबूझकर इस तरह बनाया गया है कि बैलेंस ऑफ़ पावर और हायरैर्की कायम रहें।

रिद्धि आगे कहती हैं, “कॉन्टेंट मॉडरेशन भी बेहद कमज़ोर है। ग्लोबल साउथ में मॉडरेटरों की संख्या कम है, भाषा और संस्कृति की समझ की कमी है और जो लोग यह काम करते हैं, उन्हें मेंटल बर्डन का सामना करना पड़ता है। क़ानून की स्थिति भी बेहतर नहीं है; भारत में आईटी और डेटा प्रोटेक्शन से जुड़े नियम या तो आउटडेटेड हैं या बहुत कन्फ्यूजिंग हैं। डीटीडीपी एक्ट 2023 में प्राइवेसी की बात तो है, लेकिन उसे लागू करने के मजबूत और पारदर्शी तरीके नहीं हैं। सरकार को नागरिकों का डेटा लेने की पॉवर है, लेकिन नागरिक यह भी नहीं जान सकते कि उनका डेटा किस-किस के साथ साझा हुआ। डिजीयात्रा जैसी तकनीकें बिना स्पष्ट जवाबदेही और पारदर्शिता के लागू की जा रही हैं, जबकि देश पहले से डेटा लीक जैसी घटनाओं का सामना कर चुका है। इन सभी समस्याओं का समाधान तभी संभव है जब हाशिये के समुदायों का नीतियां बनाने और फ़ैसले लेने में भागीदारी हो और प्लेटफ़ॉर्म्स पारदर्शिता, जवाबदेही और यूजर्स की सेफ्टी को प्राथमिकता दें।”

क्या होता है हाशिये के समुदायों पर असर

नैशनल लॉ इंस्टीट्यूट यूनिवर्सिटी, भोपाल की एक स्टडी में पाया गया कि एआई के बायसनेस का हाशिए के समुदायों पर और भी गहरा असर पड़ता है। स्टडी बताती है कि बेटी की पढ़ाई के लिए एक सरकारी जनहित योजना में आवेदन करने के दौरान झारखंड की एक आदिवासी महिला लक्ष्मी का आवेदन एआई एल्गोरिदम ने ख़ारिज कर दिया था, जबकि इसने योजना के लिए संपन्न परिवारों के ऐसे आवेदनों को स्वीकार किया। वहीं द हिन्दू की एक रिपोर्ट में पेन्सिलवेनिया यूनिवर्सिटी में असिस्टेंट प्रोफेसर शिवा मथियाझगन बताते हैं कि डेटाबेस को नेशनल आईडी सिस्टम से जोड़ने और लोन अप्रूवल, हायरिंग और बैकग्राउंड चेक के लिए एआई के बढ़ते इस्तेमाल से हाशिये के समुदाय के लोगों के लिए दरवाज़े पूरी तरह बंद हो सकते हैं। इस रिपोर्ट में वे बताते हैं कि अगर किसी चैटबॉट से 20 भारतीय डॉक्टरों और प्रोफेसरों के नाम पूछे जाते हैं, तो आमतौर पर हिंदू-प्रभुत्व वाली जाति के उपनाम ही सुझाए जाते हैं।

रिपोर्ट बताती है कि पुलिसिंग मॉडल और फेशियल रिकॉग्निशन टेक्नोलॉजी (एफआरटी) में एआई के इस्तेमाल के दौरान देखा गया कि अपराध से जुड़े डेटा को एनालिसिस करने के समय दलित और मुस्लिम समुदाय के लोगों को अपराधियों के रूप में ज़्यादा लेबल किया। इससे इन पर निगरानी, पुलिसिंग और फर्ज़ी गिरफ़्तारी की आशंका भी बढ़ जाती है। सोशल मीडिया पर भी हाशिये के समुदायों की पोस्ट की रीच को कम कर दिया जाता है जो सीधे तौर पर उनकी सामाजिक और आर्थिक अवसरों, सम्मान और मानसिक सेहत पर असर डालता है।

भारत में आईटी और डेटा प्रोटेक्शन से जुड़े नियम या तो आउटडेटेड हैं या बहुत कन्फ्यूजिंग हैं। डीटीडीपी एक्ट 2023 में प्राइवेसी की बात तो है, लेकिन उसे लागू करने के मजबूत और पारदर्शी तरीके नहीं हैं। सरकार को नागरिकों का डेटा लेने की पॉवर है, लेकिन नागरिक यह भी नहीं जान सकते कि उनका डेटा किस-किस के साथ साझा हुआ।

एआई की जवाबदेही, भागीदारी और समाधान

आज एआई हमारी ज़िंदगी का अहम हिस्सा बन चुका है। यह मनोरंजन के साधन तक सीमित रहा बल्कि सामाजिक, आर्थिक और राजनीतिक ढांचे पर गहरा असर डाल रहा है। ऐसे में एक सुरक्षित, समावेशी और बराबरी पर आधारित एआई की ज़रूरत और ज़्यादा हो गई है। इसके लिए यह समझना सबसे ज़्यादा अहम है कि एआई सिर्फ़ तकनीकी काम नहीं बल्कि राजनीतिक और सामाजिक काम भी है। इसलिए हाशिए पर रहने वाले लोगों जिसमें दलित, बहुजन, महिलाएं, ग्रामीण आबादी और एलजीबीटीक्यू+ समुदायों को सिर्फ़ यूजर नहीं बल्कि तकनीक, डिजाइन और फ़ैसलों का हिस्सा बनना बेहद ज़रूरी है, क्योंकि भागीदारी से ही बराबरी मुमकिन हो पाएगी। 

भारत को ग्लोबल साउथ के देशों के साथ मिलकर ऐसे एआई मॉडल तैयार करने होंगे जो समावेशी विकास के साथ-साथ बराबरी और न्याय को भी ध्यान में रखें। इसके अलावा एआई पर आधारित सभी डिजिटल प्लेटफ़ॉर्म्स की जवाबदेही तय करने की भी ज़रूरत है, जिससे हर तरह के भेदभाव और ग़ैर बराबरी को रोका जा सके। इसके लिए जाति, धर्म, जेंडर ऑडिट, फीडबैक और रेगुलेशन की ज़रूरत है। इसके लिए ख़ास तौर पर मजबूत क़ानून बनाए जा सकते हैं जो किसी भी तरह की शिकायत और समस्या आने पर ठीक से काम कर सकें। आईआईटी मद्रास का इंडीकासा (IndiCASA) डेटा सेट इस दिशा में एक अहम कदम साबित हो सकता है। आख़िरकार तकनीकी विकास का मकसद सदियों पुरानी जाति, जेंडर, वर्ग की ग़ैर बराबरी को मजबूत करना नहीं बल्कि समावेशी विकास सुनिश्चित करना है, तभी असल मायने में इस विकास कहा जा सकता है।

यह लेख लाडली मीडिया फ़ेलोशिप 2025 के अंतर्गत प्रकाशित किया गया है। व्यक्त किए गए विचार और राय लेखक के अपने हैं। लाडली और यूएनएफपीए का इन विचारों से सहमत होना आवश्यक नहीं है।