در عصر حاضر، مدل‌های زبانی بزرگ (LLM) به ابزاری قدرتمند در زمینه‌های مختلف تبدیل شده‌اند. با این حال، عملکرد این مدل‌ها به شدت به کیفیت و کمیت داده‌های آموزشی آن‌ها وابسته است. این وابستگی به ویژه برای زبان‌هایی که منابع داده محدودی دارند، چالش‌های جدی ایجاد می‌کند. مقاله حاضر، با عنوان “سربرو-۷بی: جهشی در مدل‌های زبانی بزرگ زبان-محور از طریق بهبود تولید و ارزیابی پیکره گفتگو”، به بررسی یک رویکرد نوآورانه برای حل این مشکل می‌پردازد. این رویکرد بر تولید پیکره‌های گفتگوی با کیفیت بالا و خاص یک زبان (در این مورد، زبان ایتالیایی) تمرکز دارد و از طریق سازوکارهای پیشرفته تولید خودکار گفتگو و ارزیابی کیفیت، به بهبود عملکرد مدل‌های زبانی بزرگ در این زبان کمک می‌کند. اهمیت این مقاله در ارائه یک روش قابل تعمیم برای توسعه مدل‌های زبانی قوی‌تر برای زبان‌های کم‌منبع نهفته است.

این تحقیق توسط Federico A. Galatolo و Mario G. C. A. Cimino انجام شده است. هر دو نویسنده در زمینه پردازش زبان طبیعی (NLP) و هوش مصنوعی (AI) تخصص دارند. زمینه تحقیقاتی آن‌ها شامل توسعه مدل‌های زبانی بزرگ، تولید خودکار متن، و ارزیابی کیفیت داده‌های زبانی است. تمرکز این پژوهش بر روی بهبود عملکرد LLM ها برای زبان ایتالیایی نشان‌دهنده توجه به چالش‌های خاص زبان‌های با منابع محدود و تلاش برای ارائه راهکارهای موثر در این زمینه است.

مقاله “سربرو-۷بی” یک رویکرد جدید برای تولید پیکره‌های گفتگوی زبان-محور با کیفیت بالا با استفاده از یک مکانیزم خود-گفتگو ارائه می‌دهد. این روش، ترکیبی از یک مدل زبانی بزرگ مولد (generator LLM) برای ایجاد نمونه‌های جدید و یک مدل زبانی بزرگ جاسازی‌کننده (embedder LLM) برای اطمینان از تنوع است. یک معیار جدید ارزیابی کیفیت مبتنی بر مدل‌سازی زبان پوشیده شده (MLM) نیز برای ارزیابی و فیلتر کردن پیکره‌ها پیشنهاد شده است. محققان با استفاده از مدل llama2-70b به عنوان مولد و یک ترانسفورمر جملات چند زبانه به عنوان جاسازی‌کننده، یک پیکره گفتگوی ایتالیایی تولید کرده و پیکره Fauno را که بر اساس داده‌های خود-گفتگوی ChatGPT ترجمه شده از انگلیسی ساخته شده بود، بهبود بخشیدند. این بهبود با استفاده از ادعاهای ساختاری و تکنیک‌های پردازش زبان طبیعی انجام شده است. هر دو پیکره تحت ارزیابی جامع کیفیت با استفاده از معیار پیشنهادی مبتنی بر مدل MLM قرار گرفتند. مدل زبانی بزرگ ایتالیایی که با این پیکره‌ها آموزش داده شده، بهبود قابل توجهی در درک زبان و مهارت‌های پاسخگویی به سوالات نشان می‌دهد. مدل حاصل، cerbero-7b، یک رکورد جدید در بین مدل‌های زبانی بزرگ ایتالیایی ایجاد می‌کند. این رویکرد یک پیشرفت اساسی در توسعه مدل‌های زبانی بزرگ خاص زبان، با تأکید ویژه بر افزایش پیکره‌ها برای زبان‌های کم‌نماینده مانند ایتالیایی است.

روش‌شناسی این تحقیق شامل چندین مرحله کلیدی است:

• تولید پیکره گفتگو: در این مرحله، از یک مدل زبانی بزرگ (llama2-70b) به عنوان مولد برای تولید گفتگوهای جدید استفاده می‌شود. این مدل، با توجه به دستورالعمل‌ها و الگوهای مشخص، گفتگوهای متنوع و مرتبط تولید می‌کند.
• تضمین تنوع: برای اطمینان از تنوع گفتگوهای تولید شده، از یک مدل جاسازی‌کننده (multilingual sentence transformer) استفاده می‌شود. این مدل، جملات تولید شده را به بردارهای معنایی تبدیل کرده و از شباهت بیش از حد بین جملات جلوگیری می‌کند. به عبارت دیگر، جملاتی که از نظر معنایی بسیار شبیه هستند، حذف می‌شوند.
• ارزیابی کیفیت: برای ارزیابی کیفیت پیکره‌های تولید شده، یک معیار جدید مبتنی بر مدل‌سازی زبان پوشیده شده (MLM) پیشنهاد شده است. این معیار، توانایی مدل را در پیش‌بینی کلمات حذف شده از جملات می‌سنجد. هرچه مدل در این پیش‌بینی دقیق‌تر باشد، کیفیت جمله بالاتر ارزیابی می‌شود.
• بهبود پیکره Fauno: پیکره Fauno، که قبلاً بر اساس ترجمه گفتگوهای تولید شده توسط ChatGPT از انگلیسی به ایتالیایی ایجاد شده بود، با استفاده از ادعاهای ساختاری و تکنیک‌های NLP بهبود یافت. ادعاهای ساختاری به بررسی ساختار دستوری و نحوی جملات می‌پردازند و مشکلات احتمالی را شناسایی و اصلاح می‌کنند.
• آموزش مدل زبانی بزرگ: در نهایت، مدل زبانی بزرگ ایتالیایی با استفاده از پیکره‌های گفتگوی تولید شده و بهبود یافته، آموزش داده می‌شود.

به عنوان مثال، در مرحله تولید پیکره گفتگو، ممکن است از مدل llama2-70b خواسته شود تا مکالماتی در مورد موضوعات مختلف مانند سفر، غذا، یا فیلم تولید کند. سپس، مدل جاسازی‌کننده بررسی می‌کند که آیا گفتگوهای تولید شده تنوع کافی را دارند یا خیر. در مرحله ارزیابی کیفیت، معیار MLM به مدل امکان می‌دهد تا کیفیت هر جمله را ارزیابی کند و جملات با کیفیت پایین حذف شوند. این فرایند تکرار می‌شود تا یک پیکره گفتگوی با کیفیت بالا و متنوع برای آموزش مدل زبانی بزرگ ایتالیایی به دست آید.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• بهبود کیفیت پیکره گفتگو: استفاده از روش تولید خود-گفتگو و معیار ارزیابی کیفیت مبتنی بر MLM منجر به تولید پیکره‌های گفتگوی با کیفیت بالاتر نسبت به روش‌های سنتی می‌شود.
• بهبود عملکرد مدل زبانی بزرگ: آموزش مدل زبانی بزرگ ایتالیایی با استفاده از پیکره‌های گفتگوی تولید شده، منجر به بهبود قابل توجهی در درک زبان و مهارت‌های پاسخگویی به سوالات می‌شود.
• ایجاد رکورد جدید: مدل cerbero-7b، که با استفاده از این روش آموزش داده شده است، یک رکورد جدید در بین مدل‌های زبانی بزرگ ایتالیایی ایجاد می‌کند.

به طور خلاصه، این تحقیق نشان می‌دهد که با استفاده از روش‌های نوین تولید و ارزیابی داده، می‌توان عملکرد مدل‌های زبانی بزرگ را برای زبان‌های کم‌منبع به طور چشمگیری بهبود بخشید.

کاربردها و دستاوردهای این تحقیق بسیار گسترده هستند:

• توسعه مدل‌های زبانی بزرگ برای زبان‌های کم‌منبع: روش ارائه شده در این مقاله می‌تواند برای توسعه مدل‌های زبانی بزرگ برای سایر زبان‌های کم‌منبع نیز مورد استفاده قرار گیرد. این امر می‌تواند به بهبود دسترسی به فناوری‌های زبانی برای جوامع زبانی مختلف کمک کند.
• بهبود خدمات مشتریان: مدل‌های زبانی بزرگ آموزش‌دیده با استفاده از این روش می‌توانند برای بهبود خدمات مشتریان در زبان ایتالیایی مورد استفاده قرار گیرند. این مدل‌ها می‌توانند به سوالات مشتریان پاسخ دهند، مشکلات آن‌ها را حل کنند، و اطلاعات مورد نیاز را ارائه دهند.
• توسعه دستیارهای مجازی: این مدل‌ها می‌توانند به توسعه دستیارهای مجازی هوشمندتر و کارآمدتر کمک کنند. دستیارهای مجازی می‌توانند در زمینه‌های مختلف مانند آموزش، سرگرمی، و بهداشت و درمان مورد استفاده قرار گیرند.
• پیشرفت در تحقیقات پردازش زبان طبیعی: این تحقیق به پیشرفت در تحقیقات پردازش زبان طبیعی کمک می‌کند. معیار ارزیابی کیفیت مبتنی بر MLM و روش تولید خود-گفتگو می‌توانند به عنوان ابزارهای ارزشمندی برای سایر محققان در این زمینه مورد استفاده قرار گیرند.

به عنوان مثال، تصور کنید یک شرکت ایتالیایی می‌خواهد یک دستیار مجازی برای پاسخگویی به سوالات مشتریان خود توسعه دهد. با استفاده از مدل cerbero-7b، این شرکت می‌تواند یک دستیار مجازی ایجاد کند که قادر به درک سوالات مشتریان به زبان ایتالیایی و ارائه پاسخ‌های دقیق و مرتبط باشد. این امر می‌تواند به بهبود رضایت مشتریان و افزایش کارایی شرکت کمک کند.

مقاله “سربرو-۷بی: جهشی در مدل‌های زبانی بزرگ زبان-محور از طریق بهبود تولید و ارزیابی پیکره گفتگو” یک گام مهم در جهت توسعه مدل‌های زبانی بزرگ برای زبان‌های کم‌منبع است. این تحقیق با ارائه یک روش نوآورانه برای تولید و ارزیابی پیکره‌های گفتگو، نشان می‌دهد که می‌توان عملکرد این مدل‌ها را به طور چشمگیری بهبود بخشید. یافته‌های این تحقیق نه تنها برای زبان ایتالیایی، بلکه برای سایر زبان‌های کم‌منبع نیز کاربرد دارد و می‌تواند به بهبود دسترسی به فناوری‌های زبانی برای جوامع زبانی مختلف کمک کند. مدل cerbero-7b، به عنوان یک دستاورد ملموس این تحقیق، نشان‌دهنده پتانسیل بالای این رویکرد در توسعه مدل‌های زبانی بزرگ قوی‌تر و کارآمدتر است. در نهایت، این تحقیق به پیشرفت در تحقیقات پردازش زبان طبیعی کمک می‌کند و راه را برای توسعه فناوری‌های زبانی پیشرفته‌تر هموار می‌کند.