اخیرا تحقیقات جدیدی منتشر شده که نشان میدهند موتورهای هوش مصنوعی به این زودیها نمیتوانند جای گوگل را بگیرند. در این مطالعه که توسط Tow Center for Digital Journalism انجام شده، 8 موتور جستجوی مبتنی بر هوش مصنوعی از جمله ChatGPT، Perplexity، Copilot و Grok مورد آزمایش قرار گرفتند و نتایج نشان داد که این ابزارها 60 درصد مواقع پاسخهای نادرستی میدهند. جزئیات بیشتر را در شهر سخت افزار بخوانید.
نتایج تحقیق؛ خطای ۶۰ درصدی در موتورهای جستجوی هوش مصنوعی
با توجه به گزارشی که وب سایت techspot منتشر کرده، به تازگی عملکرد 8 موتور جستجوی هوش مصنوعی مورد بررسی قرار گرفته و نتایج جالبی به دست آمده است. برای انجام این تحقیق، پژوهشگران ۲۰۰ خبر از ۲۰ منبع مختلف را انتخاب کردند و سپس جملاتی از این اخبار را در موتورهای جستجوی AI جستجو کردند تا میزان دقت پاسخهای دریافتی را بسنجند. محققان برای هر نتیجه بررسی کردند که آیا موتور جستجو بهدرستی منبع اصلی (نام رسانه)، مقاله و لینک آن را ارائه داده است یا خیر.
بر اساس این تحقیق، موتورهای هوش مصنوعی در 60 درصد موارد پاسخ نادرست میدهند و اکثر پاسخهایی که کاربران دریافت میکنند دقیق و قابل اعتماد نیست. خبر عجیبتر اینکه Grok-3 هوش مصنوعی شرکت X که با تبلیغات و هیاهوی بسیار زیاد ایلان ماسک وارد عرصه هوش مصنوعی شده، ضعیفترین عملکرد را داشته و در 96 درصد مواقع پاسخ نادرست تولید کرده است!
ChatGPT تنها ابزاری بود که به تمام 200 پرسش مطرح شده در تحقیق پاسخ داد، اما فقط 28 درصد این پاسخها کاملا صحیح بودند و 57 درصد اطلاعات کاملا نادرست ارائه شدند.
Perplexity نسبت به بقیه بهتر بود و توانست درصد بیشتری از سوالات را درست جواب بدهد. جالبتر از همه این موتورها هم Microsoft Copilot بود که بیش از نیمی از پرسشها را نادیده گرفت و به 104 سوال پاسخ نداد، پاسخهای داده شده نیز 70 درصد کاملا نادرست بودند.
چرا موتورهای جستجوی هوش مصنوعی اینقدر خطا دارند؟
با وجود پیشرفتهای بسیار چشمگیری که در مدلهای هوش مصنوعی شاهد هستیم، چرا موتورهای جستجوی مبتنی بر هوش مصنوعی هنوز دقت کافی را ندارند؟
خب نتایج Tow Center for Digital Journalism چند پاسخ خیلی خوب برایمان دارند:
یکی از مشکلات بزرگ این ابزارها، توهم (Hallucination) مدلهای زبانی است، یعنی این مدلهای میتوانند اطلاعات کاملا نادرست را با لحنی به شما پاسخ بدهند که به راحتی متوجه اشتباه بودن پاسخ نخواهید شد.
همچنین در این تحقیق مشخص شد بسیاری از موتورهای جستجو نتوانستند منبع خبر، نام رسانه و لینک اصلی را به درستی نمایش بدهند. جالبتر اینکه در برخی موارد حتی لینکهای ساختگی درست کردند یا به منابعی ارجاع دادند که اصلا وجود خارجی نداشتند.
مورد بعدی اینکه برخلاف گوگل که لینکها را از منابع رسمی و معتبر میدهد، مدلهای زبانی طوری طراحی شدهاند که برای هر سوالی جوابی در آستین داشته باشند حتی اگر اطلاعاتشان نادرست باشد. در نتیجه به جای نمایش یک نتیجه معتبر، یک پاسخ کاملا ساختگی ولی کاملا متقاعد کننده تحویلتان میدهند.
از طرف دیگر، موتورهای جستجوی سنتی مانند گوگل، از سیستم رتبه بندی پیشرفته برای فیلتر کردن اطلاعات نادرست و اولویت دادن به منابع معتبر استفاده میکنند. اما الگوریتمهای هوش مصنوعی اصلا این سطح از اعتبار سنجی را ندارند و ممکن است اطلاعات قدیمی، تحریف شده یا نادرستی به شما بدهند.
هزینه بالا، دقت پایین؛ عدم شفافیت شرکتهای سازنده AI
با همه این توصیفات و نقاط ضعفی که به آنها اشاره کردیم، شرکتهای سازنده این ابزارها اطلاعات شفافی در مورد مقدار خطای مدلهایشان ارائه نمیکنند، آن هم در حالی که برای دسترسی به این خدمات، حسابی جیب کاربران را خالی میکنند.
شاید فکر کنید که نسخههای پولی احتمالا بهتر هستند و دقت بالاتری دارند، اما بر اساس تحقیق Tow Center for Digital Journalism نسخههای پولی برخی از موتورهای جستجو مانند Perplexity Pro با 20 دلار در ماه و Grok-3 با 40 دلار در ماه، فقط کمی عملکرد بهتری نسبت به نسخههای رایگان خود داشتند، اما همچنان درصد خطای بالایی را نشان دادند. این موضوع باعث شده که برخی منتقدان این خدمات را به نوعی فریب توصیف کنند.
شرکتهایی مانند OpenAi، مایکروسافت و X ادعا میکنند که مدلهای آنها برای اعلام نتایج دقیق طراحی شدهاند، اما در تبلیغاتشان هیچ اشارهای به میزان بالای خطاهای این ابزارها نمیکنند. آن هم در حالی که کاربران بین 20 تا 200 دلار در ماه برای این خدمات پرداخت میکنند بدون اینکه بدانند چقدر میتوان به اطلاعات ارائه شده اعتماد کرد.
نظر شما چیست؟ با این توصیفات آیا هنوز هم به هوش مصنوعی اعتماد بیشتری دارید یا موتورهای جستجوی گوگل را ترجیح میدهید؟
source