در دنیای مدرن توسعه نرم‌افزار، پلتفرم‌هایی مانند گیت‌هاب (GitHub) به مراکز اصلی همکاری، بازبینی کد و مدیریت پروژه تبدیل شده‌اند. در این اکوسیستم پویا، علاوه بر توسعه‌دهندگان انسانی، بازیگران دیگری نیز به نام ربات‌های توسعه‌دهنده (Development Bots) نقش فزاینده‌ای ایفا می‌کنند. این ربات‌ها برای خودکارسازی وظایف تکراری مانند اجرای تست‌ها، بررسی استایل کد، مدیریت وابستگی‌ها و ادغام کد طراحی شده‌اند. آن‌ها از طریق ارسال نظرات (کامنت) در بخش‌های «ایشو» (Issue) و «پول ریکوئست» (Pull Request) با انسان‌ها تعامل می‌کنند.

اهمیت این مقاله از همین نقطه آغاز می‌شود. حجم عظیم داده‌های متنی تولید شده در گیت‌هاب، منبعی غنی برای محققان حوزه مهندسی نرم‌افزار است تا الگوهای همکاری، کیفیت کد و بهره‌وری تیم‌ها را تحلیل کنند. با این حال، اگر نظرات تولید شده توسط ربات‌ها از نظرات انسانی تفکیک نشوند، نتایج این مطالعات اجتماعی-فنی (Socio-technical) ممکن است دچار انحراف و خطا شوند. برای مثال، تحلیل احساسات توسعه‌دهندگان با در نظر گرفتن نظرات خنثی و ماشینی ربات‌ها، به نتایج نادرستی منجر خواهد شد. این مقاله با ارائه یک راهکار مبتنی بر یادگیری ماشین برای تشخیص خودکار این نظرات، گامی مهم در جهت افزایش دقت و اعتبار تحقیقات در این حوزه برمی‌دارد.

این مقاله حاصل پژوهش تیمی از محققان برجسته به نام‌های مهدی گلزاده، الکساندر دکان، النی کنستانتینو و تام منس است. این پژوهش در حوزه تخصصی مهندسی نرم‌افزار (Software Engineering) و در تقاطع با دو شاخه مهم علوم کامپیوتر، یعنی پردازش زبان طبیعی (NLP) و داده‌کاوی (Data Mining)، قرار می‌گیرد. به طور مشخص، این تحقیق به زیرشاخه‌ای با عنوان «کاوی مخازن نرم‌افزار» (Mining Software Repositories) تعلق دارد که هدف آن استخراج دانش و الگوهای مفید از داده‌های موجود در سیستم‌های کنترل نسخه مانند گیت است.

هدف اصلی این مقاله، طراحی و ارزیابی یک مدل طبقه‌بندی خودکار است که بتواند نظرات ثبت‌شده در پول ریکوئست‌ها و ایشوهای گیت‌هاب را به دو دسته «انسانی» یا «ربات» تفکیک کند. نویسندگان برای رسیدن به این هدف، رویکردی مبتنی بر پردازش زبان طبیعی را در پیش گرفتند. آن‌ها با استفاده از یک مجموعه داده معتبر و متوازن شامل بیش از ۱۹ هزار نظر، ابتدا محتوای متنی نظرات را به بردارهای عددی تبدیل کردند. سپس، چندین الگوریتم طبقه‌بندی باینری را بر روی این داده‌ها آموزش دادند تا بهترین مدل را برای این کار شناسایی کنند. نتایج نشان داد که الگوریتم نایو بیز چندجمله‌ای (Multinomial Naive Bayes) بهترین عملکرد را با دقت، بازیابی و امتیاز F1 میانگین ۰.۸۸ ارائه می‌دهد. این یافته نشان‌دهنده موفقیت‌آمیز بودن رویکرد پیشنهادی برای حل این چالش مهم است.

فرآیند تحقیق در این مقاله به صورت نظام‌مند و در چند مرحله کلیدی انجام شده است:

• جمع‌آوری و آماده‌سازی داده‌ها: اولین گام، ایجاد یک مجموعه داده قابل اعتماد (Ground-truth) بود. محققان مجموعه‌ای شامل ۱۹,۲۸۲ نظر از پول ریکوئست‌ها و ایشوها را گردآوری کردند. نکته بسیار مهم، متوازن بودن (Balanced) این مجموعه داده است؛ یعنی تعداد نظرات انسانی و ربات تقریباً برابر بوده که این امر از سوگیری مدل در حین آموزش جلوگیری می‌کند.
• مهندسی ویژگی (Feature Engineering): برای اینکه مدل‌های یادگیری ماشین بتوانند متن را درک کنند، باید آن را به فرمت عددی تبدیل کرد. در این پژوهش، از ترکیبی از دو تکنیک قدرتمند NLP استفاده شد:
  • مدل کیسه‌ای از کلمات (Bag-of-Words – BoW): در این روش، هر نظر به صورت یک بردار نمایش داده می‌شود که در آن، فراوانی هر کلمه از واژگان کل مجموعه داده شمرده می‌شود. این مدل ساده اما کارآمد است ولی ترتیب کلمات را نادیده می‌گیرد.
  • TF-IDF (Term Frequency-Inverse Document Frequency): این تکنیک، نسخه هوشمندانه‌تری از BoW است. TF-IDF نه تنها به فراوانی یک کلمه در یک نظر (TF) توجه می‌کند، بلکه به میزان نادر بودن آن کلمه در کل مجموعه داده (IDF) نیز اهمیت می‌دهد. این کار باعث می‌شود کلمات کلیدی و متمایزکننده (مانند “failed”، “approved”، “coverage”) وزن بیشتری نسبت به کلمات عمومی (مانند “the”، “is”) پیدا کنند.
• آموزش و انتخاب مدل: محققان چندین الگوریتم طبقه‌بندی باینری را بر روی داده‌های برداری شده آموزش دادند. هدف این بود که مدلی پیدا شود که با بیشترین دقت بتواند برچسب «انسان» یا «ربات» را به یک نظر جدید اختصاص دهد. در نهایت، مدل Multinomial Naive Bayes به عنوان بهترین گزینه انتخاب شد. این الگوریتم به دلیل سادگی، سرعت بالا و عملکرد عالی در مسائل طبقه‌بندی متن، انتخابی هوشمندانه است.
• ارزیابی مدل: برای سنجش عملکرد مدل نهایی، ۵۰٪ از داده‌ها به عنوان مجموعه آزمون کنار گذاشته شد. عملکرد مدل با سه معیار استاندارد سنجیده شد:
  • دقت (Precision): از بین تمام نظراتی که مدل به عنوان «ربات» پیش‌بینی کرده، چه درصدی واقعاً ربات بوده‌اند؟
  • بازیابی (Recall): از بین تمام نظرات واقعی ربات‌ها، مدل چه درصدی را به درستی تشخیص داده است؟
  • امتیاز F1 (F1-Score): میانگین همساز دقت و بازیابی که یک معیار ترکیبی و جامع برای ارزیابی عملکرد کلی مدل فراهم می‌کند. دستیابی به امتیاز میانگین ۰.۸۸ برای هر سه معیار، نشان‌دهنده قدرت و قابلیت اطمینان بالای مدل است.

این پژوهش به چندین یافته مهم و کاربردی دست یافت:

• امکان‌پذیری تشخیص خودکار: مهم‌ترین یافته این است که تفکیک نظرات انسانی از ربات‌ها با استفاده از تکنیک‌های NLP و یادگیری ماشین، نه تنها ممکن، بلکه بسیار دقیق است.
• کارایی مدل Naive Bayes: الگوریتم Multinomial Naive Bayes، علی‌رغم سادگی، عملکردی بهتر از مدل‌های پیچیده‌تر در این زمینه خاص از خود نشان داد. این امر ثابت می‌کند که همیشه انتخاب پیچیده‌ترین مدل، بهترین راه‌حل نیست.
• اهمیت مهندسی ویژگی: ترکیب روش‌های BoW و TF-IDF یک راهکار مؤثر برای تبدیل متن به ویژگی‌های عددی معنادار است که به مدل اجازه می‌دهد الگوهای زبانی متمایزکننده بین انسان و ربات را یاد بگیرد. برای مثال، ربات‌ها اغلب از عبارات استاندارد و تکراری مانند “Build successful” یا “Code coverage decreased by X%” استفاده می‌کنند، در حالی که زبان انسان‌ها تنوع و پیچیدگی بیشتری دارد.

نتایج این مقاله پیامدهای عملی گسترده‌ای برای جوامع مختلف دارد:

• برای محققان مهندسی نرم‌افزار: این مدل ابزاری قدرتمند برای «پاک‌سازی» مجموعه داده‌های استخراج‌شده از گیت‌هاب فراهم می‌کند. با فیلتر کردن نظرات ربات‌ها، محققان می‌توانند تحلیل‌های دقیق‌تری در مورد فرهنگ همکاری، ارتباطات تیمی، فرآیندهای بازبینی کد و احساسات توسعه‌دهندگان انجام دهند.
• برای پلتفرم‌های توسعه نرم‌افزار: گیت‌هاب و پلتفرم‌های مشابه می‌توانند از این تکنولوژی برای برچسب‌گذاری خودکار نظرات ربات‌ها استفاده کنند. این ویژگی به کاربران اجازه می‌دهد تا به راحتی نویز اطلاعاتی را فیلتر کرده و بر روی تعاملات انسانی تمرکز کنند.
• برای مدیران پروژه: تحلیل نسبت تعاملات انسانی به ربات می‌تواند شاخصی از سطح اتوماسیون در یک پروژه باشد. این داده‌ها به مدیران کمک می‌کند تا اثربخشی فرآیندهای خودکار خود را ارزیابی کنند.

این مقاله با موفقیت یک مدل یادگیری ماشین کارآمد برای شناسایی فعالیت ربات‌ها در نظرات گیت‌هاب ارائه می‌دهد. مدل پیشنهادی با دستیابی به امتیاز F1 برابر با ۰.۸۸، دقت بالایی را به اثبات رسانده و راه‌حلی عملی برای یک مشکل رایج در تحلیل داده‌های مهندسی نرم‌افزار فراهم می‌کند.

با این حال، نویسندگان به محدودیت‌های کار خود نیز اذعان دارند. مدل فعلی تنها بر روی نظرات ایشوها و پول ریکوئست‌ها آموزش دیده و ارزیابی شده است. به عنوان گام بعدی، لازم است این مدل تعمیم داده شود تا بتواند انواع دیگر فعالیت‌ها مانند پیام‌های کامیت (Commit Messages) و نظرات بازبینی کد (Code Reviews) را نیز پوشش دهد. گسترش این رویکرد به سایر پلتفرم‌های همکاری مانند Slack یا Jira نیز می‌تواند زمینه تحقیقاتی ارزشمندی در آینده باشد. در مجموع، این پژوهش مسیری روشن برای درک بهتر و مدیریت تعاملات روزافزون انسان و ربات در اکوسیستم‌های توسعه نرم‌افزار ترسیم می‌کند.