تست محدودیت های هوش مصنوعی مولد

به عنوان بخشی از منحنی یادگیری با هوش مصنوعی و LLM، هر چه می خواهید آزمایش کنید، اما نتایج را با شک و تردید در نظر بگیرید، به خصوص اگر از آن برای نوشتن کد خود استفاده می کنید.

برای استفاده بیشتر از ابزارهای هوش مصنوعی (GenAI) مانند GitHub Copilot یا ChatGPT، سایمون ویلیسون بنیانگذار Datasette استدلال می کند شما باید برای پذیرش چهار نظر متضاد آماده باشید. یعنی این هوش مصنوعی نه نجات ماست و نه عذاب ما، نه تبلیغات توخالی و نه راه حل همه چیز. هیچکدام از اینها و همه آنها در یک زمان نیست. همانطور که ویلیسون می‌گوید، “نکته عجیب این است که همه این [گزینه‌ها] درست هستند!”

شاید. همه چیز به نحوه استفاده از ابزار genAI و آنچه انتظار دارید بستگی دارد. اگر انتظار دارید یک دستیار تولید کد مانند AWS CodeWhisperer کد کاملی را تولید کند که بتوانید آن را به صورت عمده بدون تغییر بپذیرید و از آن استفاده کنید، ناامید خواهید شد. اما اگر از این ابزارها برای تکمیل مهارت‌های توسعه‌دهنده استفاده می‌کنید، خوب، ممکن است با یک شگفتی بسیار مثبت روبرو شوید.

«Android پارانوئید»

مشکل این است که بسیاری از کسب‌وکارها به تبلیغات پرداخته‌اند و انتظار دارند که GenAI یک درمان جادویی برای مشکلات آنها باشد. همانطور که استن آرونو، تحلیلگر گارتنر، نشان می دهد  ، نظرسنجی اخیر گارتنر نشان داد که «تقریباً ۷۰ درصد از رهبران کسب‌وکار معتقدند که مزایای [GenAI] بر خطرات آن بیشتر است، علی‌رغم درک محدودی از کاربرد و ریسک‌های هوش مصنوعی مولد». اگر استراتژی کسب‌وکار شما به این خلاصه می‌شود که «در توییتر جالب به نظر می‌رسید»، شما مستحق آسیبی هستید.

در مورد مدل‌های بزرگ زبان (LLM)، ویلیسون می‌گوید: «احساس می‌کنم سه سال پیش، موجودات فضایی روی زمین ظاهر شدند، یک USB با این چیز را به ما دادند و سپس رفتند. و ما از آن زمان به این موضوع پرداخته‌ایم و سعی کرده‌ایم بفهمیم که چه کاری می‌تواند انجام دهد.” ما می دانیم که این مهم است و می توانیم برخی از مرزهای آنچه که هوش مصنوعی، به طور کلی، و LLM ها، به طور خاص، می توانند انجام دهند را درک کنیم، اما هنوز هم بسیار در حالت آزمون و خطا هستیم.

ویلیسون ادامه می‌دهد که مشکل (و فرصت) LLM این است که “شما به ندرت آنچه را که واقعاً خواسته‌اید دریافت می‌کنید.” از این رو، مهندسی سریع به وجود آمد، زیرا ما در جستجوی راه هایی هستیم تا LLM ها بیشتر آنچه را که می خواهیم و کمتر از آنچه که نمی خواهیم به دست آورند. او خاطرنشان می‌کند: «گاهی اوقات، کسی متوجه می‌شود که اگر از این ترفند کوچک استفاده کنید، ناگهان این مسیر جدید از توانایی‌ها باز می‌شود.

همه ما در حال حاضر در جستجوی آن “یک ترفند کوچک” هستیم که مرا به برنامه نویسی می کشاند.

همه چیز در جای مناسب

برخی پیشنهاد می کنند که دستیارهای کدنویسی دارایی بزرگی برای توسعه دهندگان غیر ماهر خواهند بود. این در نهایت می‌تواند درست باشد، اما امروز درست نیست. چرا؟ هیچ راهی برای اعتماد کافی به خروجی یک LLM بدون داشتن تجربه کافی برای سنجش نتایج آن وجود ندارد. ویلیسون می‌گوید: «به‌دست آوردن بهترین نتایج از آن‌ها در واقع به مجموعه‌ای از دانش و تجربه نیاز دارد. بسیاری از آن به شهود مربوط می شود.”

هک‌های کدنویسی وجود دارد که توسعه‌دهندگان از طریق آزمایش به آن‌ها پی خواهند برد، اما سایر حوزه‌ها در حال حاضر برای GenAI مناسب نیستند. مایک لوکیدس از O’Reilly Media می نویسد، “ما نمی‌توانیم آنقدر در تولید کد خودکار گره بخوریم که کنترل پیچیدگی را فراموش کنیم.» اگرچه انسان ها در محدود کردن پیچیدگی کد خود ناقص هستند، اما نسبت به ماشین ها در موقعیت بهتری برای انجام این کار قرار دارند. برای مثال، یک توسعه‌دهنده نمی‌تواند واقعاً از یک LLM بخواهد که پیچیدگی کد خود را کاهش دهد، زیرا مشخص نیست که این به چه معناست. کاهش خطوط کد؟ لوکیدس می‌گوید: «به حداقل رساندن خطوط کد گاهی به سادگی منجر می‌شود، اما به همان اندازه اغلب منجر به افسون‌های پیچیده‌ای می‌شود که ایده‌های متعددی را در یک خط بسته می‌کند و اغلب به عوارض جانبی غیرمستند تکیه می‌کند.» رایانه‌ها به پیچیدگی کد اهمیت نمی‌دهند، اما انسان‌هایی که سال‌ها بعد باید آن را اشکال‌زدایی کنند و آن را درک کنند، اهمیتی می‌دهند.

این همه چیز درست است. علیرغم این واقعیت که برای دهه ها وجود داشته است، ما در مراحل اولیه تکامل هوش مصنوعی هستیم. ما در فناوری دوست داریم از خودمان جلو بزنیم. زمانی که هنوز فقط ۱۰ درصد از کل هزینه های فناوری اطلاعات را شامل می شود، مانند ابر یک هنجار ثابت عمل می کنیم. با وجود سیل سرمایه گذاری در هوش مصنوعی، حتی ۰.۰۱% هم نیست.

به نظر ویلیسون، اکنون زمان آزمایش LLM های مختلف و ابزارهای کدگذاری مرتبط با آنها است. هدف ما نباید این باشد که ببینیم کدام یک همه کار ما را برای ما انجام می دهد، بلکه باید نقاط قوت و ضعف آنها را کشف کنیم و آنها را بررسی کنیم تا زمانی که بدانیم چگونه از نقاط قوت و شکست آنها استفاده کنیم. به نفع ماست.