در عصر حاضر، الگوریتم‌های یادگیری ماشین (ML) و یادگیری عمیق (DL) به طور فزاینده‌ای در بسیاری از سیستم‌های نرم‌افزاری به کار گرفته می‌شوند. با توجه به ماهیت استقرایی این الگوریتم‌ها، تضمین کیفیت این سیستم‌ها همچنان یک چالش مهم برای جامعه تحقیقاتی به شمار می‌رود. برخلاف نرم‌افزارهای سنتی که به صورت قیاسی با نوشتن قوانین صریح ساخته می‌شوند، سیستم‌های ML/DL قوانین را از داده‌های آموزشی استنباط می‌کنند. این تفاوت اساسی، روش‌های سنتی تضمین کیفیت نرم‌افزار را در این حوزه با محدودیت‌هایی مواجه می‌کند.

این مقاله به بررسی رویکردهای عملی و تجربی در زمینه تست و ارزیابی سیستم‌های یادگیری ماشین در محیط‌های واقعی می‌پردازد. هدف اصلی این پژوهش، شناسایی و ارزیابی روش‌ها و استراتژی‌های مورد استفاده در صنعت برای اطمینان از عملکرد صحیح و قابل اعتماد سیستم‌های مبتنی بر ML/DL است.

این مقاله توسط گروهی از محققان برجسته در زمینه مهندسی نرم‌افزار و یادگیری ماشین نگاشته شده است. نام نویسندگان عبارتند از: Moses Openja, Foutse Khomh, Armstrong Foundjem, Zhen Ming, Jiang, Mouna Abidi, Ahmed E. Hassan. تخصص این محققان در زمینه‌های مختلف مرتبط با توسعه و ارزیابی سیستم‌های نرم‌افزاری، به ویژه سیستم‌های مبتنی بر یادگیری ماشین، به غنای محتوای مقاله افزوده است.

زمینه تحقیقاتی این مقاله، در تقاطع بین مهندسی نرم‌افزار و یادگیری ماشین قرار دارد. این حوزه به بررسی چالش‌ها و فرصت‌های مربوط به توسعه، استقرار و نگهداری سیستم‌های نرم‌افزاری می‌پردازد که از الگوریتم‌های یادگیری ماشین استفاده می‌کنند.

چکیده این مقاله بر اهمیت تضمین کیفیت سیستم‌های یادگیری ماشین در دنیای واقعی تأکید دارد. از آنجا که این سیستم‌ها قوانین را از داده‌ها یاد می‌گیرند، روش‌های سنتی تست نرم‌افزار ممکن است کافی نباشند. تحقیقات اخیر در زمینه تضمین کیفیت ML/DL مفاهیمی مانند تست جهش (Mutation Testing) را از تست نرم‌افزار سنتی اقتباس کرده‌اند تا قابلیت اطمینان را بهبود بخشند. با این حال، مشخص نیست که آیا این تکنیک‌های تست پیشنهادی در عمل مورد استفاده قرار می‌گیرند یا اینکه استراتژی‌های جدید تست از استقرارهای ML در دنیای واقعی پدید آمده‌اند. شواهد تجربی کمی در مورد استراتژی‌های تست وجود دارد.

این مطالعه تجربی با بررسی دقیق روش‌های تست مورد استفاده در پروژه‌های واقعی، سعی در پر کردن این شکاف اطلاعاتی دارد. محققان با تحلیل فایل‌های تست و موارد آزمایشی از ۱۱ پروژه متن‌باز ML/DL در GitHub، استراتژی‌های تست، ویژگی‌های ML مورد آزمایش و روش‌های تست پیاده‌سازی شده را به صورت دستی بررسی کرده‌اند تا درک کنند که چگونه از آنها به طور عملی در ساخت و انتشار سیستم‌های نرم‌افزاری ML/DL استفاده می‌شود.

خلاصه محتوای مقاله به شرح زیر است:

• بررسی چالش‌های موجود در زمینه تست سیستم‌های یادگیری ماشین.
• تحلیل روش‌های تست مورد استفاده در پروژه‌های متن‌باز ML/DL.
• شناسایی ویژگی‌های کلیدی ML که در تست‌ها مورد ارزیابی قرار می‌گیرند.
• ارائه بینش‌های عملی برای بهبود فرآیندهای تست و تضمین کیفیت سیستم‌های ML/DL.

این تحقیق از یک روش‌شناسی ترکیبی (mixed-methods study) برای درک شیوه‌های تست نرم‌افزار ML استفاده کرده است. به عبارت دیگر، محققان هم از روش‌های کمی و هم از روش‌های کیفی برای جمع‌آوری و تحلیل داده‌ها استفاده کرده‌اند. روش‌شناسی تحقیق شامل مراحل زیر است:

1. انتخاب پروژه‌ها: انتخاب ۱۱ پروژه متن‌باز ML/DL از GitHub که دارای تست‌های جامع و مستند هستند.
2. جمع‌آوری داده‌ها: جمع‌آوری فایل‌های تست، موارد آزمایشی و مستندات مربوط به تست از پروژه‌های انتخاب شده.
3. تحلیل داده‌ها: استفاده از روش کدگذاری باز (Open Coding) برای تحلیل دستی استراتژی‌های تست، ویژگی‌های ML مورد آزمایش و روش‌های پیاده‌سازی تست. این روش شامل بررسی دقیق داده‌ها و استخراج الگوها و مفاهیم کلیدی است.
4. ترکیب نتایج: ترکیب نتایج حاصل از تحلیل کمی و کیفی برای ارائه یک تصویر جامع از شیوه‌های تست ML در عمل.

به عنوان مثال، محققان ممکن است کد تست را بررسی کنند تا الگوهایی را پیدا کنند که نشان‌دهنده استفاده از یک استراتژی خاص تست هستند، مانند تست منفی. آنها همچنین ممکن است مستندات تست را بررسی کنند تا دلیل انتخاب یک استراتژی خاص را درک کنند.

یافته‌های این تحقیق نشان می‌دهد که استراتژی‌های تست مورد استفاده در پروژه‌های واقعی ML/DL متنوع هستند، اما برخی از آنها بیشتر از بقیه استفاده می‌شوند. یافته‌های کلیدی عبارتند از:

• استراتژی‌های تست: رایج‌ترین استراتژی‌های تست، روش‌های جعبه خاکستری (Grey-box) و جعبه سفید (White-box) هستند که کمتر از 40 درصد را تشکیل می‌دهند. این استراتژی‌ها شامل تست منفی، تقریب اوراکل و تست آماری هستند.
• تست منفی (Negative Testing): ارائه ورودی‌های نامعتبر یا غیرمنتظره به سیستم برای اطمینان از اینکه سیستم به درستی با خطاها برخورد می‌کند. به عنوان مثال، ارسال یک تصویر با فرمت نادرست به یک سیستم تشخیص چهره.
• تقریب اوراکل (Oracle Approximation): استفاده از یک روش جایگزین برای تأیید خروجی سیستم، زمانی که اوراکل واقعی (oracle) در دسترس نیست یا پیاده‌سازی آن دشوار است. به عنوان مثال، استفاده از یک مدل ساده‌تر برای تأیید خروجی یک مدل پیچیده‌تر.
• تست آماری (Statistical Testing): استفاده از روش‌های آماری برای ارزیابی عملکرد سیستم در مجموعه‌ای از داده‌ها. به عنوان مثال، محاسبه دقت و صحت یک مدل طبقه‌بندی.
• ویژگی‌های ML مورد آزمایش: طیف گسترده‌ای از 17 ویژگی ML مورد آزمایش قرار می‌گیرند که تنها 20 تا 30 درصد آنها به طور مکرر تست می‌شوند، از جمله سازگاری (Consistency)، صحت (Correctness) و کارایی (Efficiency).
• سازگاری (Consistency): اطمینان از اینکه سیستم در شرایط مشابه، خروجی‌های مشابهی تولید می‌کند.
• صحت (Correctness): اطمینان از اینکه سیستم خروجی‌های صحیح و دقیقی تولید می‌کند.
• کارایی (Efficiency): اطمینان از اینکه سیستم با استفاده از منابع محدود (مانند زمان و حافظه)، عملکرد قابل قبولی دارد.
• تست بر اساس کاربرد: تعصب و انصاف (Bias and Fairness) بیشتر در سیستم‌های توصیه (Recommendation) آزمایش می‌شود، در حالی که امنیت و حریم خصوصی (Security & Privacy) در سیستم‌های بینایی کامپیوتر (CV)، پلتفرم‌های کاربردی و پردازش زبان طبیعی (NLP) آزمایش می‌شود.

نتایج این تحقیق می‌تواند به توسعه‌دهندگان و مهندسان نرم‌افزار کمک کند تا درک بهتری از چگونگی تست و ارزیابی سیستم‌های یادگیری ماشین در دنیای واقعی داشته باشند. این دانش می‌تواند منجر به بهبود فرآیندهای تست، افزایش کیفیت سیستم‌های ML/DL و کاهش خطرات احتمالی ناشی از عملکرد نادرست این سیستم‌ها شود.

به طور خاص، این تحقیق می‌تواند در موارد زیر مفید باشد:

• انتخاب استراتژی‌های تست مناسب: با درک اینکه کدام استراتژی‌های تست در عمل بیشتر استفاده می‌شوند و کدام ویژگی‌های ML بیشتر مورد ارزیابی قرار می‌گیرند، توسعه‌دهندگان می‌توانند استراتژی‌های تست مناسبی را برای سیستم‌های خود انتخاب کنند.
• توسعه ابزارهای تست: نتایج این تحقیق می‌تواند به توسعه ابزارهای تست خودکار کمک کند که به طور خاص برای تست سیستم‌های ML/DL طراحی شده‌اند.
• آموزش مهندسان نرم‌افزار: این تحقیق می‌تواند در آموزش مهندسان نرم‌افزار در زمینه تست و ارزیابی سیستم‌های ML/DL مورد استفاده قرار گیرد.

این مطالعه تجربی، بینش‌های ارزشمندی در مورد شیوه‌های تست سیستم‌های یادگیری ماشین در دنیای واقعی ارائه می‌دهد. یافته‌های این تحقیق نشان می‌دهد که استراتژی‌های تست مورد استفاده در پروژه‌های واقعی ML/DL متنوع هستند و برخی از ویژگی‌های ML بیشتر از بقیه مورد ارزیابی قرار می‌گیرند. این دانش می‌تواند به توسعه‌دهندگان و مهندسان نرم‌افزار کمک کند تا درک بهتری از چگونگی تست و ارزیابی سیستم‌های یادگیری ماشین داشته باشند و فرآیندهای تست خود را بهبود بخشند.

با توجه به اهمیت روزافزون سیستم‌های یادگیری ماشین در زندگی روزمره، تضمین کیفیت و قابلیت اطمینان این سیستم‌ها از اهمیت ویژه‌ای برخوردار است. این تحقیق گامی مهم در جهت بهبود فرآیندهای تست و تضمین کیفیت سیستم‌های ML/DL است و می‌تواند به توسعه سیستم‌های نرم‌افزاری مطمئن‌تر و قابل اعتمادتر کمک کند.