OpenAI के एक अध्ययन के अनुसार, ChatGPT के नवीनतम संस्करण, जैसे o3 और o4-mini, पिछले, कम उन्नत मॉडलों की तुलना में दो गुना अधिक मतिभ्रम दिखाते हैं।
न्यूरल नेटवर्क के संदर्भ में मतिभ्रम गलत प्रतिक्रियाएं हैं जो AI अपनी सटीकता के बारे में आश्वस्त होकर देता है। PersonQA परीक्षण के दौरान, जो लोगों के बारे में ChatGPT के ज्ञान का आकलन करता है, o3 ने 33% मामलों में गलतियाँ कीं, और o4-mini ने 43% मामलों में। तुलना के लिए, o3-mini के लिए यह आंकड़ा 15% से कम था।
एक अन्य परीक्षण, ट्रांसलुस, ने दिखाया कि o3 मॉडल क्रियाओं का आविष्कार करने की प्रवृत्ति रखता है। उदाहरण के लिए, एक मामले में, इसने दावा किया कि इसने ChatGPT के बाहर MacBook Pro 2021 पर कोड चलाया और उत्तर में संख्याओं की प्रतिलिपि बनाई, जो तकनीकी रूप से असंभव है।
मतिभ्रम की समस्या का एक समाधान AI को वेब खोज तक पहुंच प्रदान करना है, जहाँ जानकारी अधिक विश्वसनीय है। यह विधि o4 मॉडल के लिए प्रभावी साबित हुई है, और डेवलपर्स को उम्मीद है कि यह नए मॉडलों के लिए भी फायदेमंद होगी।
