این مقاله به بررسی استفاده از مدل‌های پیش‌آموزش‌دیده زبان (Pre-trained Language Models) در حوزه پردازش زبان طبیعی (NLP) برای تولید “سه‌تایی‌های تحلیل شکست” (Failure Analysis Triplets – FATs) می‌پردازد. این سه‌تایی‌ها مجموعه‌ای از مراحل هستند که برای تحلیل قطعات معیوب در صنعت نیمه‌هادی به کار می‌روند.

اهمیت این تحقیق در این است که می‌تواند به طور قابل توجهی فرآیند عیب‌یابی و تحلیل شکست در صنایع پیچیده را تسریع و بهبود بخشد. استفاده از مدل‌های پیش‌آموزش‌دیده، به ویژه مدل‌های مبتنی بر معماری ترانسفورمر، می‌تواند دقت و کارایی این فرآیند را افزایش دهد.

این مقاله توسط کنت ازوک‌وکه، انیس هوایک، میرِی باتون-هوبرت، خاویر بوچر، پاسکال گونت و ژروم آدریان نوشته شده است. زمینه تحقیقاتی این نویسندگان شامل حوزه‌های زیر است:

• پردازش زبان طبیعی (NLP)
• یادگیری ماشین (Machine Learning)
• کاربردهای هوش مصنوعی در صنعت

این نویسندگان با تخصص در زمینه‌های مذکور، به دنبال راهکارهایی برای استفاده از تکنیک‌های نوین یادگیری ماشین در بهبود فرآیندهای صنعتی، به ویژه در زمینه تحلیل شکست و عیب‌یابی، هستند.

چکیده مقاله به این موضوع اشاره دارد که مدل‌های پیش‌آموزش‌دیده زبانی در سال‌های اخیر در حوزه NLP برای خلاصه‌سازی متن، تولید متن و پاسخگویی به سوالات، مورد توجه قرار گرفته‌اند. این پیشرفت‌ها ناشی از نوآوری‌های معرفی شده در مدل‌های ترانسفورمر و عملکرد چشمگیر آن‌ها در مقایسه با مدل‌های شبکه‌های عصبی بازگشتی (LSTM) است.

در این مقاله، نویسندگان از مکانیزم توجه (Attention Mechanism) مدل‌های زبانی پیش‌آموزش‌دیده سببی (Causal Language Models) مانند مدل ترانسفورمر برای تولید FATs استفاده می‌کنند. آن‌ها مدل‌های مختلف ترانسفورمر را برای این وظیفه تولیدی مقایسه کرده و مشاهده می‌کنند که مدل Generative Pre-trained Transformer 2 (GPT2) عملکرد بهتری نسبت به سایر مدل‌های ترانسفورمر در تولید سه‌تایی‌های تحلیل شکست داشته است.

به طور خاص، آن‌ها مشاهده کردند که GPT2 (آموزش‌دیده با 1.5 میلیارد پارامتر) در مقایسه با BERT، BART و GPT3، به طور قابل توجهی در معیار ROUGE بهتر عمل می‌کند. علاوه بر این، آن‌ها معیار Levenshstein Sequential Evaluation metric (LESE) را برای ارزیابی بهتر داده‌های ساختاریافته FAT معرفی کرده و نشان می‌دهند که این معیار نسبت به معیارهای موجود، مطابقت بیشتری با قضاوت انسان دارد.

روش‌شناسی این تحقیق شامل مراحل زیر است:

1. انتخاب مدل‌های پیش‌آموزش‌دیده: انتخاب مدل‌های مختلف ترانسفورمر، شامل GPT2، BERT، BART و GPT3.
2. آماده‌سازی داده‌ها: جمع‌آوری و آماده‌سازی داده‌های مربوط به فرآیندهای تحلیل شکست در صنعت نیمه‌هادی. این داده‌ها شامل توالی مراحل لازم برای تحلیل قطعات معیوب است.
3. آموزش و تنظیم دقیق مدل‌ها (Fine-tuning): آموزش مدل‌های انتخاب شده بر روی داده‌های آماده‌شده به منظور تولید سه‌تایی‌های تحلیل شکست.
4. ارزیابی عملکرد مدل‌ها: ارزیابی عملکرد مدل‌ها با استفاده از معیارهای مختلف، از جمله ROUGE و LESE. معیار ROUGE برای ارزیابی کیفیت خلاصه‌سازی متن و LESE برای ارزیابی داده‌های ساختاریافته FAT استفاده می‌شود.
5. مقایسه نتایج: مقایسه نتایج حاصل از مدل‌های مختلف به منظور تعیین بهترین مدل برای تولید FATs.

استفاده از معیار LESE به عنوان یک نوآوری در این تحقیق، به ارزیابی دقیق‌تر و مرتبط‌تر با قضاوت انسان از داده‌های ساختاریافته کمک می‌کند.

به عنوان مثال، فرض کنید داده‌های FAT به صورت زیر باشند:

            [
              "بررسی اتصالات",
              "آزمایش ولتاژ",
              "تعویض قطعه معیوب"
            ]
            

معیار LESE قادر است تا شباهت بین توالی‌های تولید شده توسط مدل و توالی‌های مرجع را با در نظر گرفتن ترتیب مراحل، به دقت ارزیابی کند.

یافته‌های کلیدی این تحقیق عبارتند از:

• برتری GPT2: مدل GPT2 در تولید FATs نسبت به سایر مدل‌های ترانسفورمر، از جمله BERT، BART و GPT3، عملکرد بهتری داشته است. این برتری به دلیل ساختار مولد (Generative) GPT2 و توانایی آن در یادگیری توالی‌های پیچیده است.
• اهمیت معیار LESE: معیار LESE در ارزیابی داده‌های ساختاریافته FAT، عملکرد بهتری نسبت به معیارهای موجود داشته و مطابقت بیشتری با قضاوت انسان دارد. این معیار به ارزیابی دقیق‌تر کیفیت سه‌تایی‌های تولید شده کمک می‌کند.
• تاثیر پارامترهای مدل: افزایش تعداد پارامترهای مدل GPT2 (تا 1.5 میلیارد) به بهبود عملکرد آن در تولید FATs منجر شده است.

به طور خلاصه، این تحقیق نشان می‌دهد که مدل‌های پیش‌آموزش‌دیده، به ویژه GPT2، می‌توانند به طور موثری در تولید سه‌تایی‌های تحلیل شکست در صنعت نیمه‌هادی مورد استفاده قرار گیرند و فرآیند عیب‌یابی را بهبود بخشند.

کاربردها و دستاوردهای این تحقیق شامل موارد زیر است:

• بهبود فرآیند عیب‌یابی: استفاده از مدل‌های پیش‌آموزش‌دیده برای تولید FATs می‌تواند به مهندسان و تکنسین‌ها در تشخیص و رفع سریع‌تر عیوب در قطعات نیمه‌هادی کمک کند.
• کاهش هزینه‌ها: با تسریع فرآیند عیب‌یابی، می‌توان هزینه‌های مربوط به تعمیر و نگهداری قطعات معیوب را کاهش داد.
• افزایش بهره‌وری: بهبود فرآیند عیب‌یابی منجر به افزایش بهره‌وری در خطوط تولید و کاهش زمان توقف دستگاه‌ها می‌شود.
• توسعه ابزارهای هوشمند عیب‌یابی: نتایج این تحقیق می‌تواند در توسعه ابزارهای هوشمند عیب‌یابی مبتنی بر هوش مصنوعی مورد استفاده قرار گیرد.
• معیار ارزیابی جدید: معرفی معیار LESE به عنوان یک ابزار کارآمد برای ارزیابی داده‌های ساختاریافته در حوزه تحلیل شکست.

به عنوان مثال، یک شرکت تولیدکننده نیمه‌هادی می‌تواند از این تکنولوژی برای خودکارسازی فرآیند تولید FATs استفاده کند. این امر نه تنها زمان لازم برای تحلیل شکست را کاهش می‌دهد، بلکه احتمال خطای انسانی را نیز به حداقل می‌رساند.

این مقاله نشان می‌دهد که مدل‌های پیش‌آموزش‌دیده زبانی، به ویژه GPT2، ابزارهای قدرتمندی برای تولید سه‌تایی‌های تحلیل شکست در صنعت نیمه‌هادی هستند. استفاده از این مدل‌ها می‌تواند به طور قابل توجهی فرآیند عیب‌یابی را بهبود بخشیده و به کاهش هزینه‌ها و افزایش بهره‌وری منجر شود.

معرفی معیار LESE نیز گام مهمی در جهت ارزیابی دقیق‌تر و مرتبط‌تر داده‌های ساختاریافته در این حوزه است. این معیار می‌تواند به محققان و توسعه‌دهندگان در بهبود عملکرد مدل‌های تولید FATs کمک کند.

در مجموع، این تحقیق نشان می‌دهد که استفاده از هوش مصنوعی و تکنیک‌های یادگیری ماشین در فرآیندهای صنعتی، به ویژه در صنایع پیچیده مانند تولید نیمه‌هادی، می‌تواند مزایای قابل توجهی به همراه داشته باشد.