این مقاله به بررسی چالش‌ها و راهکارهای استقرار مدل‌های BERT (Bidirectional Encoder Representations from Transformers) در سیستم‌های تولیدی می‌پردازد، به ویژه در زمینه‌ی طبقه‌بندی ارتباط بین پرسش‌ها و عناوین. مدل‌های BERT با ارائه دقت بسیار بالا در بسیاری از وظایف پردازش زبان طبیعی (NLP) مانند طبقه‌بندی متون و شناسایی موجودیت‌های نام‌دار (NER) انقلابی به پا کرده‌اند. با این حال، اندازه‌ی بزرگ این مدل‌ها، مقیاس‌بندی آن‌ها را برای کاربردهای صنعتی با تاخیر کم و توان عملیاتی بالا، به یک چالش جدی تبدیل کرده است.

این تحقیق توسط Leonard Dahlmann و Tomer Lancewicki انجام شده است. زمینه تحقیقاتی این مقاله، حوزه‌ی پردازش زبان طبیعی و به طور خاص، بهینه‌سازی و استقرار مدل‌های یادگیری عمیق در محیط‌های عملیاتی با محدودیت‌های منابع است. هدف اصلی، یافتن روشی برای استفاده از قدرت مدل‌های BERT در عین حفظ سرعت و کارایی لازم برای سیستم‌های تولیدی است.

چکیده‌ی مقاله بر این موضوع تاکید دارد که چگونه یک طبقه‌بند ارتباط پرسش-عنوان (QTR) با استفاده از یک مدل فشرده به نام BertBiLSTM برای استقرار در یک سیستم تولیدی بهینه‌سازی شده است. این مدل قادر است با حداکثر تاخیر 0.2 میلی‌ثانیه بر روی CPU، ورودی‌ها را پردازش کند. BertBiLSTM از نظر دقت و کارایی، عملکرد بهتری نسبت به مدل اصلی BERT در این وظیفه خاص نشان می‌دهد.

این دستاورد از طریق دو مرحله حاصل شده است:

• مرحله اول: ایجاد یک مدل پیش‌آموزش‌شده به نام eBERT. eBERT در واقع معماری اصلی BERT است که با یک مجموعه‌ی دادگان اختصاصی از عناوین آیتم‌ها آموزش داده شده است. سپس، eBERT برای وظیفه‌ی QTR بهینه‌سازی شده است.
• مرحله دوم: آموزش مدل BertBiLSTM به گونه‌ای که عملکرد مدل eBERT را از طریق فرآیندی به نام Knowledge Distillation (KD) تقلید کند. در این مرحله، تاثیر افزایش داده (Data Augmentation) برای دستیابی به این هدف مورد بررسی قرار گرفته است.

نتایج تجربی نشان می‌دهد که مدل پیشنهادی (BertBiLSTM) از سایر مدل‌های فشرده و آماده‌ی تولید، عملکرد بهتری دارد.

روش‌شناسی این تحقیق شامل چندین گام کلیدی است:

1. جمع‌آوری و آماده‌سازی داده‌ها: ایجاد یک مجموعه‌ی دادگان مناسب برای آموزش مدل‌های BERT و BertBiLSTM، با تمرکز بر داده‌های مرتبط با عناوین آیتم‌ها و پرسش‌های کاربران.
2. پیش‌آموزش مدل eBERT: آموزش مدل BERT با استفاده از مجموعه‌ی دادگان اختصاصی عناوین آیتم‌ها برای بهبود عملکرد آن در این حوزه‌ی خاص.
3. بهینه‌سازی eBERT برای وظیفه‌ی QTR: تنظیم دقیق پارامترهای مدل eBERT برای طبقه‌بندی ارتباط بین پرسش‌ها و عناوین.
4. آموزش مدل BertBiLSTM از طریق Knowledge Distillation: استفاده از خروجی‌های مدل eBERT به عنوان “دانش” برای آموزش یک مدل فشرده‌تر (BertBiLSTM) به منظور تقلید از عملکرد آن. این روش امکان انتقال دانش از یک مدل بزرگ و پیچیده به یک مدل کوچکتر و سریع‌تر را فراهم می‌کند.
5. افزایش داده (Data Augmentation): استفاده از تکنیک‌های مختلف برای افزایش تنوع داده‌های آموزشی و بهبود تعمیم‌پذیری مدل BertBiLSTM.
6. ارزیابی عملکرد مدل: مقایسه‌ی عملکرد مدل BertBiLSTM با سایر مدل‌های موجود، از جمله مدل اصلی BERT و سایر مدل‌های فشرده، بر اساس معیارهایی مانند دقت، کارایی و سرعت استنتاج.

مثالی از فرآیند Knowledge Distillation: فرض کنید مدل eBERT (معلم) برای پرسش “خرید گوشی موبایل” و عنوان “گوشی موبایل سامسونگ Galaxy S23” یک احتمال بالای 95% برای مرتبط بودن این دو پیش‌بینی می‌کند. در فرآیند KD، مدل BertBiLSTM (دانش‌آموز) آموزش داده می‌شود تا خروجی مشابهی را برای این جفت پرسش و عنوان تولید کند، حتی اگر مدل BertBiLSTM به تنهایی این ارتباط را با قطعیت کمتری تشخیص دهد.

یافته‌های کلیدی این تحقیق عبارتند از:

• عملکرد برتر BertBiLSTM: مدل BertBiLSTM با استفاده از تکنیک Knowledge Distillation توانسته است عملکردی مشابه مدل eBERT (که خود یک مدل بهینه‌سازی‌شده از BERT است) داشته باشد، در حالی که حجم بسیار کمتری دارد و سرعت استنتاج آن به طور قابل توجهی بالاتر است.
• تاثیر مثبت افزایش داده: استفاده از تکنیک‌های افزایش داده، به بهبود عملکرد BertBiLSTM در تعمیم‌دهی به داده‌های جدید کمک کرده است.
• کاهش تاخیر و افزایش توان عملیاتی: مدل BertBiLSTM قادر است با تاخیر بسیار کم (حداکثر 0.2 میلی‌ثانیه بر روی CPU) ورودی‌ها را پردازش کند، که این امر آن را برای استفاده در سیستم‌های تولیدی با نیاز به پاسخ سریع مناسب می‌سازد.

به عنوان مثال، در یک سناریوی واقعی، اگر یک سیستم جستجوی فروشگاه آنلاین نیاز به رتبه‌بندی سریع نتایج جستجو بر اساس ارتباط با پرسش کاربر داشته باشد، استفاده از مدل BertBiLSTM می‌تواند به طور چشمگیری سرعت و دقت این فرآیند را بهبود بخشد.

کاربردها و دستاوردهای این تحقیق عبارتند از:

• بهبود عملکرد سیستم‌های جستجو: استفاده از مدل BertBiLSTM می‌تواند به بهبود عملکرد سیستم‌های جستجو در زمینه‌های مختلف، از جمله جستجوی محصولات، اطلاعات و مقالات علمی کمک کند.
• شخصی‌سازی نتایج جستجو: با استفاده از این مدل می‌توان نتایج جستجو را بر اساس علایق و نیازهای هر کاربر شخصی‌سازی کرد.
• کاهش هزینه‌های محاسباتی: استفاده از یک مدل فشرده مانند BertBiLSTM می‌تواند به کاهش هزینه‌های محاسباتی مرتبط با استقرار مدل‌های یادگیری عمیق در سیستم‌های تولیدی کمک کند.
• استقرار آسان‌تر: مدل BertBiLSTM به دلیل حجم کمتر و نیاز به منابع محاسباتی کمتر، استقرار آسان‌تری نسبت به مدل‌های بزرگ BERT دارد.

علاوه بر این، این تحقیق نشان می‌دهد که چگونه می‌توان از تکنیک Knowledge Distillation برای انتقال دانش از مدل‌های بزرگ و پیچیده به مدل‌های کوچک و کارآمد استفاده کرد، که این امر می‌تواند در بسیاری از زمینه‌های دیگر پردازش زبان طبیعی نیز مفید باشد.

این مقاله نشان می‌دهد که با استفاده از تکنیک‌های بهینه‌سازی و فشرده‌سازی مدل، می‌توان از قدرت مدل‌های BERT در سیستم‌های تولیدی با محدودیت‌های منابع استفاده کرد. مدل BertBiLSTM به عنوان یک راه‌حل عملی و کارآمد برای طبقه‌بندی ارتباط پرسش-عنوان معرفی شده است که می‌تواند در بسیاری از کاربردها، از جمله سیستم‌های جستجو، توصیه‌گرها و پاسخگویی به سوالات، مورد استفاده قرار گیرد. این تحقیق گامی مهم در جهت عملیاتی‌سازی مدل‌های یادگیری عمیق در دنیای واقعی و بهره‌گیری از پتانسیل آن‌ها در حل مسائل گوناگون است.