۵ روش QA برای ارزیابی تأثیر ابزارهای جدید تست هوش مصنوعی مولد

اولین موج آزمایش و ابزارهای اتوماسیون نرم افزاری مولد با هوش مصنوعی از راه رسید. در اینجا آمده است که چگونه تیم های QA و توسعه دهنده تأثیر خود را اندازه گیری می کنند.

• کدهای بیشتر به اتوماسیون تست بیشتری نیاز دارند
• GenAI جایگزین بهترین شیوه های QA نمی شود
• بازخورد سریعتر در مورد تغییرات کد
• سناریوهای تست قوی تر
• GenAI به سرعت به تکامل خود ادامه خواهد داد

در مقاله‌ای اخیر درباره ارتقای آزمایش مداوم برای هوش مصنوعی مولد، پرسیدم که چگونه ابزارهای تولید کد، نسخه‌های کمکی و سایر قابلیت‌های هوش مصنوعی مولد بر تضمین کیفیت (QA) و آزمایش مداوم تأثیر می گذارد. از آنجایی که هوش مصنوعی مولد کدنویسی و توسعه نرم‌افزار را تسریع می‌کند، چگونه تست کد و تضمین کیفیت با سرعت بالاتری هماهنگ می‌شود؟

در آن زمان، من پیشنهاد کردم که مهندسان QA در تیم‌های devops باید پوشش آزمایشی را افزایش دهند، آزمایش‌های بیشتری را خودکار کنند و تولید داده‌های آزمایشی را برای افزایش سرعت توسعه کد مقیاس‌بندی کنند. همچنین گفتم که خوانندگان باید به دنبال پلتفرم‌های آزمایشی برای افزودن قابلیت‌های هوش مصنوعی باشند.

برترین پلتفرم‌های اتوماسیون تست نرم‌افزار اکنون آن محصولات مولد با هوش مصنوعی را منتشر می‌کنند. نمونه‌ها عبارتند از کاتالون تست مبتنی بر هوش مصنوعی، Tricentis راه حل های مهندسی با کیفیت مبتنی بر هوش مصنوعی، LambdaTest، UFT OpenText یک اتوماسیون تست مبتنی بر هوش مصنوعی، SmartBear TestComplete و VisualTest، و سایر ابزارهای تست نرم افزار افزوده شده با هوش مصنوعی. p>

وظیفه سازمان‌های devops و مهندسان QA اکنون تأیید این است که چگونه هوش مصنوعی مولد بر بهره‌وری آزمایش، پوشش، کاهش ریسک و کیفیت آزمایش تأثیر می‌گذارد. در اینجا آنچه باید انتظار داشت و توصیه های صنعت برای ارزیابی تأثیر هوش مصنوعی مولد بر سازمان شما آمده است.

کدهای بیشتر به اتوماسیون تست بیشتری نیاز دارند

مطالعه مک کینزی< /a> نشان می‌دهد که توسعه‌دهندگان می‌توانند وظایف کدنویسی را دو برابر سریع‌تر با هوش مصنوعی مولد انجام دهند، که ممکن است به معنای افزایش متناظر در مقدار کد تولید شده باشد. مفهوم این است که مهندسان QA باید توانایی خود را برای آزمایش و اعتبارسنجی کد برای آسیب پذیری های امنیتی تسریع کنند.

اسکو هانولا، معاون ارشد مدیریت محصول در کوپادو. “خوشبختانه، همین امر در مورد آزمایش نیز صدق می کند، و هوش مصنوعی مولد می تواند تعاریف آزمایشی را از داستان های کاربر متن ساده یا سناریوهای آزمایشی ایجاد کند و آنها را به اسکریپت های اتوماسیون آزمایشی قابل اجرا ترجمه کند.”

صاحبان محصول، تحلیلگران کسب‌وکار و توسعه‌دهندگان باید کیفیت داستان‌های کاربر چابک خود را برای هوش مصنوعی مولد بهبود بخشند تا اسکریپت‌های اتوماسیون آزمایشی مؤثر ایجاد کنند. تیم‌های چابکی که داستان‌های کاربر را با معیارهای پذیرش کافی و پیوندهایی به کد به‌روزرسانی می‌نویسند، باید اتوماسیون آزمایشی ایجاد شده توسط هوش مصنوعی را در نظر بگیرند، در حالی که سایرین ممکن است ابتدا مجبور شوند جمع‌آوری نیازمندی‌های خود و نوشتن داستان کاربر را بهبود بخشند.

Hannula فرصت‌های هوش مصنوعی مولد دیگری را برای تیم‌های چابک به اشتراک گذاشت، از جمله سفارش آزمایش، گزارش نقص، و بهبود خودکار تست‌های شکسته.

GenAI جایگزین بهترین شیوه های QA نمی شود

تیم‌های Devops از مدل‌های زبان بزرگ (LLM) استفاده می‌کنند برای ایجاد اهداف در سطح خدمات (SLOs)، پیشنهاد علل ریشه‌ای حادثه، استخراج مستندات، و سایر تقویت‌کننده‌های بهره‌وری. اما، در حالی که اتوماسیون ممکن است به مهندسان QA کمک کند تا بهره‌وری را بهبود بخشند و پوشش آزمایشی را افزایش دهند، این یک سوال باز است که آیا هوش مصنوعی مولد می‌تواند سناریوهای آزمایشی معنادار تجاری ایجاد کند و خطرات را کاهش دهد.

چندین متخصص در این مورد نظر داشتند، و اتفاق نظر این است که هوش مصنوعی مولد می‌تواند بهترین شیوه‌های QA را تقویت کند، اما جایگزین آنها نشود.

الکس مارتینز، معاون استراتژی در کاتالون. هوش مصنوعی وعده‌ای جذاب برای افزایش بهره‌وری تست می‌دهد، اما واقعیت این است که آزمایش‌کننده‌ها به جای اجرای آزمایش‌ها، با صرف زمان ارزشمند برای پالایش خروجی‌های LLM روبرو هستند. این دوگانگی بین استفاده بالقوه و عملی از ابزارهای هوش مصنوعی، نیاز به رویکردی متعادل را نشان می‌دهد که از کمک هوش مصنوعی بدون چشم پوشی از تخصص انسانی استفاده می‌کند.”

Hannula از Copado اضافه می‌کند، «خلاقیت انسانی ممکن است هنوز بهتر از هوش مصنوعی باشد که بفهمد چه چیزی ممکن است سیستم را خراب کند. بنابراین، آزمایش کاملاً مستقل – اگرچه ممکن است – ممکن است هنوز مطلوب‌ترین راه نباشد.

مارکو آناستاسوف، یکی از بنیانگذاران Semaphore CI/CD، می‌گوید: «در حالی که هوش مصنوعی می‌تواند بهره‌وری توسعه‌دهندگان را افزایش دهد، اینطور نیست. جایگزینی برای ارزیابی کیفیت ترکیب اتوماسیون با روش‌های آزمایش قوی به ما اطمینان می‌دهد که هوش مصنوعی کد با کیفیت بالا و آماده تولید را خروجی می‌دهد.”

در حالی که هوش مصنوعی مولد و اتوماسیون تست می‌تواند به ایجاد اسکریپت‌های تست کمک کند، داشتن استعداد و تخصص موضوعی برای دانستن اینکه چه چیزی باید آزمایش شود، اهمیت بیشتری دارد و مسئولیتی رو به رشد برای مهندسان QA خواهد داشت. همانطور که قابلیت‌های تولید تست هوش مصنوعی مولد بهبود می‌یابد، مهندسان QA را مجبور می‌کند به سمت چپ حرکت کنند و روی کاهش خطر و استراتژی‌های آزمایش تمرکز کنند – کمتر روی کدنویسی اسکریپت‌های آزمایشی.

بازخورد سریعتر در مورد تغییرات کد

از آنجایی که QA به یک عملکرد استراتژیک کاهش ریسک تبدیل می‌شود، تیم‌های توسعه چابک کجا می‌توانند قابلیت‌های مولد هوش مصنوعی را فراتر از بهره‌وری و پوشش آزمایشی جستجو و تأیید کنند؟ یک معیار مهم این است که آیا هوش مصنوعی مولد می‌تواند نقص‌ها و سایر مشکلات کدگذاری را سریع‌تر پیدا کند، بنابراین توسعه‌دهندگان می‌توانند قبل از اینکه خطوط لوله CI/CD را مختل کنند یا مشکلات تولید ایجاد کنند، آنها را برطرف کنند.

Dattaraj Rao، دانشمند ارشد داده سیستم های پایدار. هوش مصنوعی مولد با قابلیت شناسایی نقص‌ها، تجزیه و تحلیل رابط کاربری و خودکارسازی اسکریپت‌های آزمایشی، به عنوان یک کاتالیزور متحول کننده ظاهر می‌شود و آینده تضمین کیفیت نرم‌افزار را شکل می‌دهد.

استفاده از هوش مصنوعی مولد برای بازخورد سریع‌تر، فرصتی برای تیم‌های توسعه‌دهنده است که ممکن است یک استراتژی تست کامل را اجرا نکرده باشند. به عنوان مثال، یک تیم ممکن است واحدهای خودکار و تست‌های API داشته باشند، اما آزمایش‌های سطح UI محدود و داده‌های آزمایشی کافی برای یافتن ناهنجاری‌ها کافی نباشد. تیم Devops باید قابلیت‌های هوش مصنوعی مولد در پلت‌فرم‌های اتوماسیون آزمایشی خود را تأیید کنند تا ببینند کجا می‌توانند این شکاف‌ها را ببندند – با ارائه پوشش آزمایشی بیشتر و بازخورد سریع‌تر.

کوین میلر، مدیر ارشد فناوری آمریکا در IFS. “سرعت، پوشش و دقت آزمایش مداوم را با خودکار کردن فرآیندهای تست کلید افزایش می‌دهد، که امکان اعتبارسنجی دقیق‌تر و کارآمدتر تغییرات نرم‌افزار را در سراسر خط لوله توسعه فراهم می‌کند.”

سناریوهای تست قوی تر

هوش مصنوعی می‌تواند بیشتر از افزایش تعداد موارد آزمایشی و یافتن سریع‌تر مشکلات انجام دهد. تیم ها باید از هوش مصنوعی مولد برای بهبود اثربخشی سناریوهای آزمایشی استفاده کنند. هوش مصنوعی می‌تواند به طور مداوم آزمایش را با گسترش دامنه آنچه که هر سناریوی آزمایشی برای آن آزمایش می‌کند حفظ و بهبود بخشد و دقت آن را بهبود بخشد.

Ritwik Batabyal، مدیر ارشد فناوری و افسر نوآوری مستک.” تشخیص الگوی هوشمند، تنظیمات پارامترهای پویا، و کشف آسیب‌پذیری، آزمایش را ساده می‌کند، مداخله دستی را کاهش می‌دهد، چرخه‌ها را تسریع می‌کند و استحکام نرم‌افزار را بهبود می‌بخشد. ادغام با LLM ها درک زمینه ای را برای ایجاد سناریوهای آزمایشی دقیق افزایش می دهد، دقت و کارایی اتوماسیون را در آزمایش مداوم افزایش می دهد، و یک تغییر پارادایم در قابلیت های آزمایش را نشان می دهد.

توسعه سناریوهای آزمایشی برای پشتیبانی از برنامه‌های کاربردی با رابط‌های جستجوی زبان طبیعی، قابلیت‌های درخواستی، و LLM‌های تعبیه‌شده، یک فرصت و چالش QA را نشان می‌دهد. با معرفی این قابلیت‌ها، اتوماسیون‌های آزمایشی برای انتقال از ورودی‌های پارامتری و کلیدواژه به اعلان‌ها نیاز به به‌روزرسانی دارند و پلتفرم‌های آزمایشی باید به اعتبارسنجی کیفیت و دقت پاسخ LLM کمک کنند.

در حالی که آزمایش LLM یک قابلیت نوظهور است، داشتن داده های دقیق برای افزایش دامنه و دقت سناریوهای آزمایشی چالش امروز و پیش نیازی برای اعتبارسنجی رابط های کاربری زبان طبیعی است.

هدر ساندهایم، مدیر مهندسی راه‌حل‌ها در

می‌گوید: «در حالی که هوش مصنوعی مولد پیشرفت‌هایی مانند تولید نمونه‌های آزمایشی مستقل، انطباق اسکریپت پویا، و تشخیص باگ پیشرفته را ارائه می‌کند، اجرای موفقیت‌آمیز به شرکت‌ها بستگی دارد که داده‌هایشان تمیز و بهینه است.» a href=”https://www.sada.com” rel=”nofollow”>SADA. «استفاده از هوش مصنوعی مولد در آزمایش مستلزم پرداختن به ملاحظات کیفیت داده برای استفاده کامل از مزایای این روند نوظهور است.»

تیم‌های Devops باید داده‌های آزمایشی خود را با داده‌های مصنوعی گسترش دهند، به‌ویژه زمانی که دامنه آزمایش فرم‌ها و گردش‌های کاری را به سمت آزمایش رابط‌ها و درخواست‌های زبان طبیعی گسترش می‌دهند.

GenAI به سرعت به تکامل خود ادامه خواهد داد

تیم‌های توسعه‌دهنده که ابزارهای هوش مصنوعی مولد را با تعبیه رابط‌های زبان طبیعی در برنامه‌ها، تولید کد یا خودکارسازی تولید آزمایش آزمایش می‌کنند، باید تشخیص دهند که قابلیت‌های هوش مصنوعی به طور قابل‌توجهی تکامل خواهند یافت. در صورت امکان، تیم‌های devops باید ایجاد لایه‌های انتزاعی را در رابط‌های خود بین برنامه‌ها و پلتفرم‌ها با ابزارهای هوش مصنوعی مولد در نظر بگیرند.

جاناتان نولن، معاون مهندسی در LaunchDarkly. تیم‌ها می‌توانند با اطمینان از اینکه تعویض مدل‌ها، درخواست‌ها و اقدامات آسان است بدون نیاز به بازنویسی کامل نرم‌افزار، استراتژی خود را در آینده اثبات کنند.

همچنین می‌توانیم انتظار داشته باشیم که پلتفرم‌های اتوماسیون آزمایشی و ابزارهای تجزیه و تحلیل کد استاتیک، قابلیت‌های خود را برای آزمایش کدهای تولید شده توسط هوش مصنوعی بهبود بخشند.

سامی قوچه، CTO و یکی از بنیانگذاران Forethought، می‌گوید: «تأثیر هوش مصنوعی مولد بر مداوم و خودکار آزمایش عمیق و چند وجهی است، به ویژه در آزمایش و ارزیابی کد ایجاد شده توسط کوپیلوت ها و تولیدکنندگان کد، و آزمایش جاسازی ها و سایر کارهای توسعه LLM.”

هوش مصنوعی مولد در حال ایجاد هیاهو، هیجان و نتایج تجاری تاثیرگذار است. اکنون نیاز به QA برای اعتبارسنجی قابلیت ها، کاهش خطرات و اطمینان از عملکرد تغییرات فناوری در استانداردهای کیفیت تعریف شده است.