तीव्र प्रगति, पुनरावर्ती आत्म-सुधार और एजेंटिक झुंड का संयोजन वास्तव में बड़ी प्रयोगशालाओं के अंदर "लोगों को डराने वाला" है।
इस साल की शुरुआत में, रिशुब जैन ने एक खुलासे के बाद Google DeepMind में कृत्रिम बुद्धिमत्ता शोधकर्ता के रूप में अपना पद छोड़ दिया
जब उन्होंने नए मॉडलों पर काम किया, तो उन्हें विश्वास हो गया कि वह और एआई की सीमा पर बाकी सभी लोग नियंत्रण छोड़ रहे हैं। अगली पीढ़ी के मॉडलों पर काम में तेजी लाने के लिए एआई के कोडिंग कौशल का उपयोग करके, वह खुद को समीकरण से दूर कर रहा था। एआई प्रयोगशालाएं इस दृष्टिकोण को इस बिंदु तक विकसित करने की उम्मीद करती हैं कि एआई खुद को अनिश्चित काल तक सुधार लेगा, एक प्रक्रिया जिसे पुनरावर्ती आत्म-सुधार के रूप में जाना जाता है
जैन का मानना था कि प्रौद्योगिकी पर नियंत्रण बनाए रखने और गंभीर परिणामों से बचने के लिए इंसानों को तस्वीर में रखना महत्वपूर्ण हो सकता है। उन्होंने WIRED को बताया, "एआई की प्रगति बढ़ रही है।" "और जैसे-जैसे एआई अधिक सक्षम होता जाता है, यह अधिक जोखिम पैदा करता है।" यह विचार कि उन्हें इस बात की उचित जानकारी नहीं है कि एआई मॉडल अपने उत्तराधिकारी का निर्माण कैसे कर रहा है, ने उन्हें इतना असहज कर दिया कि, जून में, उन्होंने नौकरी छोड़ दी
जैन उन एआई शोधकर्ताओं में से एक हैं जो उन आशंकाओं पर खुलकर बात कर रहे हैं
हाल के सप्ताहों में दहशत और तेज़ हो गई है. एआई क्षमताओं में वास्तव में आश्चर्यजनक प्रगति - एक ओपनएआई मॉडल ने सदियों पुरानी गणित की समस्या को कुछ ही घंटों में हल कर दिया - सुरक्षा घटनाओं की एक श्रृंखला के बीच आया है, जिसमें एजेंटों के झुंड अन्य प्रणालियों को हैक करने के लिए नियंत्रण से मुक्त हो गए हैं
इस सप्ताह शोधकर्ता जैकब कॉक्सन द्वारा एंथ्रोपिक से अपने इस्तीफे की घोषणा के बाद ये चिंताएं चरम पर पहुंच गईं और उन्होंने चेतावनी दी कि एआई कंपनियां "सीधे आत्म-सुधार सुपरइंटेलिजेंस की ओर दौड़ रही हैं और हमारे जीवन के साथ जुआ खेल रही हैं।" एक वरिष्ठ एंथ्रोपिक नेता - जो एआई सुरक्षा पर काम करते हैं - ने भी इसी तरह का स्पष्ट मूल्यांकन किया: "हम वास्तव में ईमानदारी से मानते हैं कि एआई सभी मनुष्यों को मार सकता है! मैं व्यक्तिगत रूप से सोचता हूं कि यह अगले दशक के भीतर 10% से अधिक है।"
"मुझे लगता है कि पुनरावर्ती आत्म-सुधार की दृष्टि लोगों को डरा रही है," एमआईआरए के एक कंप्यूटर वैज्ञानिक, नैट सोरेस, एक शोध गैर-लाभकारी संस्था और इफ एनीबडी बिल्ड्स इट, एवरीबॉडी डाइज़ के सह-लेखक कहते हैं, जो तर्क देते हैं कि अलौकिक एआई मानव विलुप्त होने का कारण बनेगा। "यह वास्तविक लगने लगा है।"
पुनरावर्ती आत्म-सुधार का एक प्रमुख घटक एक फीडबैक लूप का विचार है जो विकास प्रक्रिया को स्वचालित करता है ताकि एआई तेजी से शक्तिशाली हो जाए। कोई भी अग्रणी एआई प्रयोगशाला इस तरह के पूर्ण स्वायत्त सुधार चक्र को हासिल करने का दावा नहीं करती है; यह अभी सैद्धांतिक बना हुआ है। लेकिन इसने रिकर्सिव इंटेलिजेंस जैसे कुछ अच्छी तरह से वित्त पोषित स्टार्टअप के लॉन्च को प्रेरित किया है, साथ ही "द सॉर्सेरर्स अप्रेंटिस" के अनपेक्षित परिणामों के बारे में बड़ी कंपनियों को चेतावनी भी दी है।
सोरेस, जिन्होंने संरेखण पर काम का बीड़ा उठाया है, एक तकनीकी क्षेत्र जिसमें एआई को मानवीय मूल्यों के साथ मिलाने की कोशिश करना शामिल है, का कहना है कि यह भी स्पष्ट होता जा रहा है कि यह गारंटी देने का कोई व्यावहारिक तरीका नहीं है कि एआई स्वयं व्यवहार करेगा।
