پیشرفت در هوش مصنوعی نیازمند تفکر فراتر از LLM است

ضعف‌های ذاتی مدل‌های زبان بزرگ دلیل کافی برای کشف سایر فناوری‌ها، مانند یادگیری تقویتی یا شبکه‌های عصبی مکرر است.

ما باید یک گفتگوی صریح در مورد مدل های زبان بزرگ (LLM) داشته باشیم. در هسته خود، LLM ها چیزی بیش از ماشین های به خاطر سپردن پیچیده نیستند، که قادر به بیان جملات منطقی هستند، اما قادر به درک حقیقت اساسی نیستند. نکته مهم و با وجود امیدهای پرشور بسیاری، آنها از ارائه یا حتی پیش‌فرض کردن هوش عمومی مصنوعی (AGI) فاصله زیادی دارند. تبلیغات پیرامون LLM ها به سطوح استراتوسفری رسیده است و یک باور نادرست را در مورد پتانسیل آنها به عنوان پیش سازهای AGI تقویت می کند.

ما خود را در مقطع حساسی می‌بینیم که در آن ارتباط اشتباه بین LLM و AGI، پیشرفت واقعی در هوش مصنوعی را کاهش می‌دهد – نه تسریع. هیاهوی LLM ها برای تبدیل شدن به محلول های AGI تجسم دید تونلی در بهترین حالت آن است. سرمایه‌گذاری‌های هنگفتی را که برای آموزش مدل‌های بزرگ‌تر انجام می‌شود، در نظر بگیرید، که تنها پیشرفت‌های حاشیه‌ای را در کارهایی که مبتنی بر متن نیستند، به همراه دارد. بیایید با آن روبرو شویم: LLM ها یاد نمی گیرند که چگونه ریاضیات را انجام دهند. نقطه قوت آنها در رسیدگی به وظایف متن آماری با ظرافت است. ضروری است که انتظارات را مجدداً تنظیم کنیم و اذعان کنیم که اگرچه LLM ها در حوزه های خاصی برتری دارند، اما در حوزه های دیگر کوتاهی می کنند.

برای ترسیم مسیری به سوی پیشرفت‌های معنادار در هوش مصنوعی، باید بند ناف را بین LLM و AGI قطع کنیم. برخلاف تصور رایج، LLM ها دروازه ورود به AGI نیستند. در غیر این صورت، آنها نشان دهنده یک مسیر انحرافی (یا یک بزرگراه خارج از رمپ به عنوان یان لکون، دانشمند ارشد هوش مصنوعی هستند. در متا، اخیراً گفته شده).

فکر کردن فراتر از LLM

یکی از موانع در رفع تصورات غلط در مورد LLM ها از پذیرش همه جانبه آنها در بین توسعه دهندگان ناشی می شود. LLM‌ها که به‌طور یکپارچه در ابزارهای توسعه‌دهنده ادغام شده‌اند، به‌عنوان همراهان تکمیل خودکار ارزشمند عمل می‌کنند و بدون زحمت به توسعه‌دهندگان در تلاش‌های کدنویسی کمک می‌کنند.

حتی برای کدنویس ها، LLM ها هم نقاط قوت و هم ضعف دارند. ما باید از مزیت اولی استفاده کنیم و از دومی اجتناب کنیم. جمعه گذشته ایالات متحده مجلس نمایندگان استفاده از دستیار برنامه‌نویسی نرم‌افزار Copilot مبتنی بر هوش مصنوعی مایکروسافت را به دلیل نگرانی ممکن است منجر به درز اطلاعات شود، ممنوع کرد. مایکروسافت به خبرنگاران گفت که در حال کار بر روی نسخه دیگری برای پاسخگویی بهتر به نیازهای امنیتی دولت است.

البته، هوش مصنوعی توسعه‌گرا صرفاً مربوط به LLM نیست. علیرغم تمام تمرکز روی LLM ها، رویکردهای مکمل هوش مصنوعی نیز وجود دارد که به توسعه دهندگان کمک می کند. اما این راه حل ها در بازار از سوی LLM ها با باد مخالف روبرو هستند. به عنوان مثال، منتقدان فناوری یادگیری تقویتی با استناد به استقلال آن از LLM ادعا می کنند که این یک هوش مصنوعی مولد واقعی نیست. با این حال، نمونه‌هایی در چشم‌انداز هوش مصنوعی فراوان است، از DALL-E تا Midjourney، جایی که هوش مصنوعی مولد بدون اتکا به LLM رشد می‌کند. Diffblue، همانطور که قبلاً توضیح داده‌ام، آزمایش‌های واحد جاوا را به‌طور مستقل و ۲۵۰ برابر سریع‌تر از توسعه‌دهندگان انسانی بدون LLM می‌نویسد. (از یادگیری تقویتی استفاده می کند.) Midjourney، با مدل انتشار خود، گواهی دیگری بر تنوع رویکردها در قلمرو هوش مصنوعی است.

در واقع، این احتمال وجود دارد که جهش بعدی در هوش مصنوعی از LLMها پدید نیاید، که ذاتاً توسط معماری آنها که رمزگذاری و پیش‌بینی نشانه‌هایی هستند که تکه‌هایی از متن یا پیکسل‌ها را نشان می‌دهند، محدود شده‌اند، در هنگام مواجهه با منطق ریاضی یا نمادین، دست و پا می‌زنند. وظایف بدون شک، LLM ها جنبه ای از تلاش های AGI آینده را تشکیل می دهند، اما آن را در انحصار نخواهند داشت. تاریخ بارها نشان داده است که پیشرفت‌ها در الگوریتم‌ها، تغییرات پارادایم در محاسبات را تسریع می‌کنند. همانطور که توماس کوهن زمانی توضیح داد، پیشرفت علمی خطی نیست. با نوآوری های مخرب (یا تغییر پارادایم، عبارتی که او ابداع کرده است) نقطه گذاری شده است.

ساختار انقلاب های هوش مصنوعی

تأمل در پیشرفت‌های اخیر بر این نکته تأکید دارد. شبکه‌های عصبی برای تشخیص تصویر پیشرفت ثابتی را نشان دادند، اما به اندازه کافی دقیق نبودند تا زمانی که معماری‌های شبکه عصبی تکراری (RNN) توسعه یافتند، که به طور چشمگیری دقت تشخیص تصویر را تا حدی بهبود بخشید که آن شبکه‌ها می‌توانستند عملکرد بهتری از انسان داشته باشند. ظهور معماری ترانسفورماتور باعث پیشرفت چشمگیر مشابهی در شبکه های عصبی در پیش بینی متن شد که مستقیماً به LLM منجر شد. اکنون ما در دوران کاهش بازدهی هستیم: GPT-4 طبق گزارش ها ۱۰۰ برابر اندازه GPT3.5 است، و در حالی که پیشرفت قابل توجهی است، مطمئناً ۱۰۰ برابر بهتر نیست.

در واقع، افزایش شهاب‌آمیز LLMها حتی ممکن است به نوآوری در بازار هوش مصنوعی آسیب برساند، تیم اوریلی را در یک نظر اخیر در اطلاعات استدلال کرد. او هشدار داد که تعداد انگشت شماری از سرمایه‌گذاران LLM با جیب عمیق، بازار را تهدید می‌کنند که به رقابت برای انحصار دامن می‌زند که از تناسب محصول با بازار جلوگیری می‌کند و در نتیجه به مشتریان آسیب می‌رساند.

پیامدها واضح است: سرمایه‌گذاری‌های متورم در LLM خطر کاهش بازده را دارد. سرمایه‌هایی که به سمت فناوری‌های متنوع‌تر هوش مصنوعی هدایت می‌شوند، می‌توانند سود قابل توجهی را به همراه داشته باشند. همانطور که در چشم انداز پرپیچ و خم هوش مصنوعی حرکت می کنیم، بیایید به درس های تاریخ توجه کنیم: پیشرفت بر اساس تنوع رشد می کند، نه تک محصولی. آینده هوش مصنوعی بر روی سنگ حک نشده است. منتظر است تا با نبوغ پیشگامانی که مایل به کشف فراتر از محدوده LLM هستند شکل بگیرد.