در دنیای مهندسی نرم‌افزار، فرآیند شناسایی، درک و رفع خطاها (باگ‌ها) یکی از چالش‌برانگیزترین و وقت‌گیرترین فعالیت‌هاست. یکی از مراحل کلیدی در این فرآیند، «بازتولید باگ» (Bug Reproduction) است؛ یعنی ایجاد شرایطی که در آن، خطای گزارش‌شده توسط کاربر یا تستر، به طور مداوم و قابل پیش‌بینی رخ دهد. بدون بازتولید دقیق یک باگ، توسعه‌دهندگان نمی‌توانند علت اصلی آن را پیدا کرده و راه حل مناسبی برای آن ارائه دهند. با این حال، خودکارسازی این فرآیند بسیار دشوار است، زیرا گزارش‌های باگ معمولاً به زبان طبیعی (مثلاً انگلیسی) نوشته شده‌اند و حاوی اطلاعات مبهم یا ناقصی هستند.

تاکنون، بیشتر ابزارهای خودکارسازی بر روی باگ‌های «کرش» (Crash Bugs) متمرکز بوده‌اند؛ خطاهایی که منجر به توقف ناگهانی برنامه می‌شوند و شناسایی و تأیید خودکار آن‌ها ساده‌تر است. اما این تنها بخش کوچکی از کل خطاهای نرم‌افزاری را تشکیل می‌دهد. اهمیت این مقاله در آن است که با بهره‌گیری از توانایی‌های شگفت‌انگیز مدل‌های زبانی بزرگ (LLMs)، راهکاری نوین برای بازتولید خودکار طیف وسیع‌تری از باگ‌ها ارائه می‌دهد و این محدودیت را پشت سر می‌گذارد. این پژوهش نشان می‌دهد که چگونه می‌توان از هوش مصنوعی برای ترجمه گزارش‌های انسانی به کدهای آزمایشی (Test Cases) دقیق و کارآمد استفاده کرد و بهره‌وری تیم‌های توسعه را به شکل چشمگیری افزایش داد.

این مقاله توسط تیمی از پژوهشگران برجسته در حوزه مهندسی نرم‌افزار و هوش مصنوعی به رشته تحریر درآمده است:

• Sungmin Kang
• Juyeon Yoon
• Nargiz Askarbekkyzy
• Shin Yoo

این پژوهش در زمینه مهندسی نرم‌افزار (Software Engineering)، و به طور خاص در تقاطع آن با هوش مصنوعی (AI for SE) قرار می‌گیرد. این حوزه به دنبال استفاده از تکنیک‌های یادگیری ماشین و پردازش زبان طبیعی برای حل مشکلات پیچیده در چرخه حیات توسعه نرم‌افزار است، از جمله تست، اشکال‌زدایی (Debugging) و نگهداری کد.

این تحقیق یک تکنیک جدید به نام LIBRO را معرفی می‌کند که از مدل‌های زبانی بزرگ برای تولید خودکار تست‌های بازتولیدکننده باگ بهره می‌برد. مشکل اصلی این است که گزارش‌های باگ به زبان طبیعی نوشته شده و تبدیل آن‌ها به تست‌های اجرایی چالش‌برانگیز است. LIBRO این چالش را با ارسال درخواست‌های هوشمندانه (Prompting) به LLM‌ها حل می‌کند. این مدل‌ها با درک عمیق زبان و توانایی تولید کد، می‌توانند گزارش باگ را تحلیل کرده و یک قطعه کد آزمایشی برای بازتولید آن بنویسند.

مقاله به طور جامع، عملکرد ۱۵ مدل زبانی بزرگ مختلف، شامل ۱۱ مدل متن‌باز (Open-source)، را ارزیابی می‌کند. نتایج نشان می‌دهد که رویکرد LIBRO توانسته است با موفقیت حدود یک‌سوم از کل باگ‌های موجود در بنچمارک معتبر Defects4J را بازتولید کند. این یک دستاورد قابل توجه است، زیرا Defects4J شامل باگ‌های واقعی و متنوعی از پروژه‌های بزرگ جاوا است. علاوه بر این، پژوهش نشان می‌دهد که مدل‌های متن‌باز نیز پتانسیل بالایی دارند؛ به طوری که مدل StarCoder توانسته به ۷۰٪ کارایی مدل قدرتمند و تجاری code-davinci-002 از شرکت OpenAI دست یابد.

روش تحقیق این مقاله بر پایه یک خط لوله (Pipeline) دو مرحله‌ای به نام LIBRO استوار است که شامل تولید کد توسط LLM و سپس یک فرآیند پس‌پردازش برای اعتبارسنجی است.

• مرحله اول: تولید تست با استفاده از LLM
  
  در این مرحله، یک «پرامپت» (Prompt) یا درخواست ساختاریافته به مدل زبانی بزرگ ارسال می‌شود. این پرامپت شامل اطلاعات کلیدی زیر است:
  1. توضیحات باگ به زبان طبیعی: عیناً متنی که در گزارش باگ آمده است.
  2. قطعه کد معیوب (Buggy Code): بخشی از کد منبع که گمان می‌رود خطا در آنجا رخ داده است.
  3. دستورالعمل: یک فرمان صریح به مدل برای نوشتن یک تست JUnit که در نسخه معیوب برنامه ناموفق (Fail) شود اما در نسخه اصلاح‌شده موفق (Pass) شود.

  مدل زبانی با تحلیل این اطلاعات، یک یا چند مورد آزمایشی (Test Case) را به زبان برنامه‌نویسی مورد نظر (در اینجا جاوا) تولید می‌کند.

• مرحله دوم: خط لوله پس‌پردازش و اعتبارسنجی
  
  کدهای تولیدشده توسط LLM همیشه بی‌نقص نیستند. بنابراین، یک خط لوله خودکار برای فیلتر کردن و شناسایی بهترین تست‌ها طراحی شده است:
  1. بررسی کامپایل: ابتدا بررسی می‌شود که آیا کد تولیدشده از نظر سینتکس صحیح است و کامپایل می‌شود یا خیر.
  2. اجرای تست: تست‌های موفق در کامپایل، بر روی دو نسخه از نرم‌افزار اجرا می‌شوند: نسخه معیوب و نسخه اصلاح‌شده (که باگ در آن رفع شده است).
  3. تأیید بازتولید: یک تست زمانی «موفق» در نظر گرفته می‌شود که دقیقاً روی نسخه معیوب شکست بخورد و روی نسخه اصلاح‌شده با موفقیت اجرا شود. این معیار طلایی برای تأیید یک تست بازتولیدکننده باگ است.

برای ارزیابی جامع، محققان از بنچمارک شناخته‌شده Defects4J و یک مجموعه داده خصوصی دیگر (برای سنجش تعمیم‌پذیری) استفاده کردند و عملکرد ۱۵ مدل مختلف با اندازه‌های متفاوت را مقایسه نمودند.

این پژوهش به نتایج مهم و تاثیرگذاری دست یافته است که آینده ابزارهای خودکار اشکال‌زدایی را شکل خواهد داد:

• کارایی بالای رویکرد LIBRO: این تکنیک توانست ۳۲.۶٪ از باگ‌های مجموعه بزرگ Defects4J را با موفقیت بازتولید کند. این آمار در مقایسه با روش‌های سنتی که عمدتاً روی انواع خاصی از باگ‌ها کار می‌کنند، بسیار چشمگیر است.
• قدرت مدل‌های متن‌باز: اگرچه مدل تجاری code-davinci-002 بهترین عملکرد را داشت، اما مدل متن‌باز StarCoder توانست به ۷۰٪ کارایی آن دست یابد. این یافته نشان می‌دهد که استفاده از مدل‌های در دسترس و رایگان برای این کار کاملاً عملی است و نیاز به دسترسی به APIهای گران‌قیمت را کاهش می‌دهد.
• قابلیت تعمیم‌پذیری: در یک مجموعه داده که احتمالاً در داده‌های آموزشی مدل‌ها وجود نداشته، StarCoder عملکرد بهتری از خود نشان داد و به ۹۰٪ کارایی code-davinci-002 رسید. این موضوع نشان می‌دهد که این روش صرفاً به «حفظ کردن» الگوهای دیده‌شده متکی نیست و قابلیت حل مسائل جدید را دارد.
• تأثیر اندازه مدل (Scaling Law): نتایج به وضوح نشان می‌دهند که با افزایش اندازه و تعداد پارامترهای یک مدل زبانی بزرگ، توانایی آن در بازتولید باگ نیز بهبود می‌یابد. این یک راهنمای مفید برای انتخاب مدل مناسب برای این کار است.

نتایج این مقاله پیامدهای عملی مهمی برای صنعت نرم‌افزار به همراه دارد:

• صرفه‌جویی در زمان توسعه‌دهندگان: بازتولید دستی باگ‌ها می‌تواند ساعت‌ها یا حتی روزها طول بکشد. خودکارسازی این فرآیند به توسعه‌دهندگان اجازه می‌دهد تا زمان خود را مستقیماً صرف حل مشکل اصلی کنند.
• افزایش کیفیت نرم‌افزار: با تسهیل فرآیند بازتولید باگ، تیم‌ها می‌توانند خطاهای بیشتری را در زمان کوتاه‌تر شناسایی و رفع کنند که به طور مستقیم منجر به تولید محصولی پایدارتر و باکیفیت‌تر می‌شود.
• گسترش دامنه خودکارسازی: این روش برخلاف ابزارهای پیشین، محدود به باگ‌های کرش نیست و می‌تواند انواع مختلفی از خطاهای منطقی، عملکردی و… را بازتولید کند. این یک گام بزرگ به سوی خودکارسازی عمومی و جامع فرآیند اشکال‌زدایی است.
• دموکراتیزه کردن ابزارهای پیشرفته: با اثبات کارایی بالای مدل‌های متن‌باز، این تحقیق نشان می‌دهد که شرکت‌های کوچک و تیم‌های مستقل نیز می‌توانند بدون هزینه زیاد، از ابزارهای پیشرفته مبتنی بر هوش مصنوعی برای بهبود فرآیندهای توسعه خود بهره‌مند شوند.

مقاله “ارزیابی مدل‌های زبانی بزرگ متنوع برای بازتولید خودکار و عمومی باگ” یک گام مهم و رو به جلو در حوزه مهندسی نرم‌افزار مبتنی بر هوش مصنوعی است. محققان با معرفی روش LIBRO، نشان دادند که مدل‌های زبانی بزرگ می‌توانند به طور مؤثری شکاف میان گزارش‌های باگ به زبان طبیعی و تست‌های اجرایی را پر کنند. این پژوهش نه تنها یک راهکار عملی برای یکی از چالش‌های اساسی توسعه نرم‌افزار ارائه می‌دهد، بلکه با ارزیابی جامع مدل‌های مختلف، به ویژه مدل‌های متن‌باز، نقشه راهی برای تحقیقات و کاربردهای آینده ترسیم می‌کند. یافته‌های کلیدی در مورد تأثیر اندازه مدل و عملکرد قابل توجه مدل‌هایی مانند StarCoder، افق‌های جدیدی را برای ساخت نسل بعدی ابزارهای هوشمند توسعه نرم‌افزار می‌گشاید و نویدبخش آینده‌ای است که در آن، هوش مصنوعی به عنوان یک همکار قابل اعتماد در کنار توسعه‌دهندگان قرار می‌گیرد.