معرفی مقاله و اهمیت آن

در سال‌های اخیر، ظهور مدل‌های زبانی بزرگ از پیش آموزش‌دیده (PLMs) انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده و مرزهای توانایی‌های ماشین در درک و تولید زبان را به شدت گسترش داده است. این مدل‌ها که بر روی حجم عظیمی از داده‌های متنی آموزش دیده‌اند، عملکرد خیره‌کننده‌ای در طیف وسیعی از وظایف از جمله ترجمه ماشینی، خلاصه‌سازی متن، پاسخگویی به سوالات و تحلیل احساسات از خود نشان داده‌اند.

با این حال، دسترسی به این توانمندی‌ها برای تمامی زبان‌های دنیا یکسان نبوده است. هزینه‌های گزاف آموزش این مدل‌ها، نیاز به مقادیر عظیم داده‌های آموزشی و همچنین مصرف بالای انرژی، مانعی جدی بر سر راه بهره‌مندی برابر تمامی جوامع زبانی از این پیشرفت‌ها محسوب می‌شود. بسیاری از زبان‌های دنیا، به ویژه آن‌هایی که منابع داده‌ای کمتری دارند (low-resource languages)، از این انقلاب بی‌بهره مانده‌اند و این امر نابرابری‌های زبانی را در حوزه هوش مصنوعی تشدید می‌کند.

مقاله “GreenPLM: انتقال زبانی متقابل مدل‌های زبانی از پیش آموزش‌دیده تک‌زبانه با هزینه‌ای نزدیک به صفر” پاسخی نوآورانه به این چالش‌ها ارائه می‌دهد. این مطالعه چارچوبی اثربخش و کم‌مصرف از نظر انرژی با نام GreenPLM را پیشنهاد می‌کند که با استفاده از لغت‌نامه‌های دوزبانه (bilingual lexicons)، مدل‌های زبانی از پیش آموزش‌دیده یک زبان را به صورت مستقیم و با هزینه‌ای نزدیک به صفر به زبانی دیگر «ترجمه» می‌کند. اهمیت این پژوهش در آن است که نه تنها به دموکراتیزه کردن دسترسی به فناوری‌های پیشرفته NLP برای زبان‌های بیشتر کمک می‌کند، بلکه با کاهش چشمگیر مصرف انرژی، گامی مهم در راستای پایداری محیط زیستی در حوزه هوش مصنوعی برمی‌دارد. این رویکرد به طور مستقیم با اصل «هیچ‌کس را جا نگذارید» (Leave No One Behind Principle – LNOB) همسو است و تلاش دارد نابرابری‌های بین زبان‌ها را کاهش دهد و مصرف انرژی را به شدت پایین آورد.

نویسندگان و زمینه تحقیق

این پژوهش توسط گروهی از محققان برجسته شامل Qingcheng Zeng, Lucas Garay, Peilin Zhou, Dading Chong, Yining Hua, Jiageng Wu, Yikang Pan, Han Zhou, Rob Voigt و Jie Yang انجام شده است. این تیم تحقیقاتی در زمینه پردازش زبان طبیعی (NLP) و به طور خاص در حوزه‌های یادگیری ماشین چندزبانه (Multilingual Machine Learning)، مدل‌های زبانی بزرگ، انتقال یادگیری (Transfer Learning) و هوش مصنوعی پایدار (Sustainable AI) فعالیت دارند.

زمینه تحقیق این مقاله عمیقاً با نیازهای روزافزون در گسترش قابلیت‌های NLP به تمامی زبان‌ها و در عین حال کاهش اثرات زیست‌محیطی ناشی از آموزش مدل‌های بزرگ مرتبط است. با توجه به افزایش تصاعدی اندازه و پیچیدگی مدل‌های هوش مصنوعی، مصرف انرژی و منابع محاسباتی به یک نگرانی جدی تبدیل شده است. محققان این حوزه به دنبال راه‌حل‌هایی هستند که امکان بهره‌برداری از دانش موجود در مدل‌های بزرگ را برای زبان‌های جدید فراهم کنند، بدون آنکه نیاز به آموزش مجدد و پرهزینه از ابتدا باشد.

هدف اصلی این پژوهش، غلبه بر این موانع و ارائه راهکاری عملی برای ایجاد مدل‌های زبانی کارآمد برای زبان‌های کم‌منابع، در راستای اصول عدالت زبانی (Linguistic Justice) و هوش مصنوعی سبز (Green AI) است. این مقاله در دسته “محاسبات و زبان” (Computation and Language) قرار می‌گیرد که خود نشان‌دهنده ماهیت بین‌رشته‌ای آن است و پیوند عمیق بین علوم کامپیوتر و زبان‌شناسی را برجسته می‌سازد.

چکیده و خلاصه محتوا

مدل‌های زبانی از پیش آموزش‌دیده (PLMs) در سالیان اخیر تحول عظیمی در تحقیقات و کاربردهای پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. با این حال، هزینه‌های بالای آموزش و محدودیت در منابع داده، مانع از آن شده است که مزایای این مدل‌ها به طور برابر در میان کاربران تمامی زبان‌های جهان به اشتراک گذاشته شود.

برای حل مشکل دسترسی متقابل زبانی به چنین مدل‌هایی و کاهش مصرف انرژی در راستای پایداری محیط زیست در طول فرآیند آموزش مدل‌های بزرگ، این مطالعه یک چارچوب مؤثر و با مصرف انرژی پایین با نام GreenPLM را پیشنهاد می‌کند. هسته اصلی این رویکرد، استفاده از لغت‌نامه‌های دوزبانه است که امکان «ترجمه» مستقیم مدل‌های زبانی از پیش آموزش‌دیده یک زبان به زبانی دیگر را با هزینه‌ای نزدیک به صفر فراهم می‌آورد. این بدان معناست که به جای آموزش یک مدل جدید از ابتدا برای هر زبان، می‌توان از دانش موجود در مدل‌های آموزش‌دیده برای زبان‌های پرمنابع استفاده کرده و آن را به طور کارآمد به زبان‌های دیگر منتقل کرد.

محققان برای اعتبارسنجی این رویکرد، آن را بر روی مدل‌های BERT در ۱۸ زبان مختلف آزمایش کرده‌اند. نتایج نشان می‌دهد که این چارچوب، عملکردی قابل مقایسه و حتی در برخی موارد بهتر از سایر روش‌های ابتکاری (heuristics) با هزینه‌های آموزشی بالا ارائه می‌دهد. این دستاورد بسیار حائز اهمیت است، زیرا نشان می‌دهد که می‌توان بدون صرف زمان و منابع مالی و محاسباتی عظیم، به نتایجی مشابه یا برتر دست یافت.

علاوه بر این، با افزودن یک مرحله پیش‌آموزش مستمر سبک (lightweight continued pre-training) بر روی داده‌های محدود در صورت موجود بودن، چارچوب GreenPLM عملکرد مدل‌های زبانی تک‌زبانه اصلی را در شش زبان از هفت زبان آزمایش‌شده بهبود بخشیده است. این بهبود در حالی حاصل می‌شود که تلاش برای پیش‌آموزش تا ۲۰۰ برابر کمتر از مدل‌های اصلی بوده است. این نتیجه نشان‌دهنده کارایی فوق‌العاده GreenPLM در بهینه‌سازی منابع و دستیابی به نتایج برتر با حداقل تلاش است. هدف نهایی این پژوهش، تحقق اصل «هیچ‌کس را جا نگذارید» (LNOB) و کاهش نابرابری‌های بین زبان‌ها و همچنین کاهش چشمگیر مصرف انرژی است.

روش‌شناسی تحقیق

رویکرد اصلی GreenPLM بر پایه مفهوم «ترجمه» مستقیم مدل‌های زبانی از پیش آموزش‌دیده از یک زبان مبدأ به یک زبان هدف استوار است. این روش‌شناسی به طور چشمگیری با رویکردهای سنتی که نیازمند آموزش مجدد کامل یا بخش‌های عمده‌ای از مدل هستند، تفاوت دارد و به همین دلیل هزینه‌های محاسباتی و انرژی را به حداقل می‌رساند.

• هسته اصلی: استفاده از لغت‌نامه‌های دوزبانه (Bilingual Lexicons): مهمترین عنصر در روش‌شناسی GreenPLM، بهره‌گیری از لغت‌نامه‌های دوزبانه با کیفیت بالاست. این لغت‌نامه‌ها، نگاشت بین کلمات (یا توکن‌های) معادل در دو زبان مختلف را فراهم می‌کنند. محققان از این نگاشت‌ها برای انتقال دانش از فضای تعبیه (embedding space) زبان مبدأ به زبان هدف استفاده می‌کنند.
• انتقال وزن‌های تعبیه‌سازی (Embedding Weights Transfer): در مدل‌های زبانی مانند BERT، اولین لایه، لایه تعبیه‌سازی (embedding layer) است که کلمات (یا زیرکلمات) را به بردارهای عددی (embeddings) نگاشت می‌کند. GreenPLM از لغت‌نامه‌های دوزبانه برای پیدا کردن معادل‌های کلمات در زبان هدف استفاده می‌کند و سپس وزن‌های تعبیه‌سازی (parameters) مربوط به کلمات معادل را از مدل زبان مبدأ به مدل زبان هدف کپی می‌کند. به عبارت دیگر، اگر کلمه ‘dog’ در انگلیسی معادل ‘سگ’ در فارسی باشد، بردار تعبیه‌سازی ‘dog’ از مدل انگلیسی به ‘سگ’ در مدل فارسی «ترجمه» و اختصاص داده می‌شود. این فرآیند به طور هوشمندانه و با کمترین تغییر در ساختار مدل انجام می‌گیرد.
• حفظ ساختار مدل و وزن‌های ترانسفورمر: فراتر از لایه تعبیه‌سازی، لایه‌های ترانسفورمر (Transformer layers) که وظیفه پردازش متوالی و کشف روابط معنایی بین کلمات را بر عهده دارند، اغلب بدون تغییر یا با حداقل تنظیمات از مدل مبدأ به مدل هدف منتقل می‌شوند. این کار بر این فرض استوار است که ساختارهای معنایی و نحوی عمیق‌تر در زبان‌های مختلف ممکن است الگوهای مشترکی داشته باشند که توسط لایه‌های ترانسفورمر به خوبی یاد گرفته شده‌اند.
• تنظیم و اعتبارسنجی در ۱۸ زبان: این چارچوب بر روی مدل‌های BERT برای ۱۸ زبان مختلف پیاده‌سازی و آزمایش شده است. این طیف گسترده از زبان‌ها، شامل زبان‌های با منابع بالا و پایین، اعتبار و قدرت تعمیم‌پذیری روش را به خوبی نشان می‌دهد. ارزیابی‌ها بر روی وظایف مختلفی مانند دسته‌بندی متن، پرسش و پاسخ، و تشخیص موجودیت‌های نام‌گذاری شده (NER) انجام شده است.
• پیش‌آموزش مستمر سبک (Lightweight Continued Pre-training): یکی از نوآوری‌های کلیدی این روش‌شناسی، مرحله اختیاری پیش‌آموزش مستمر سبک است. پس از «ترجمه» اولیه مدل، این مدل جدید برای مدت کوتاهی و بر روی داده‌های محدود (در صورت موجود بودن) زبان هدف، مجدداً آموزش می‌بیند. این مرحله به مدل اجازه می‌دهد تا خود را با ظرایف و ویژگی‌های خاص زبان هدف تطبیق دهد، بدون اینکه نیاز به حجم عظیمی از داده یا منابع محاسباتی باشد. نتایج نشان می‌دهد که این گام کوچک، بهبودهای قابل توجهی در عملکرد نهایی مدل ایجاد می‌کند و به آن اجازه می‌دهد تا از مدل‌های تک‌زبانه آموزش‌دیده از ابتدا نیز پیشی بگیرد.
• معیارهای ارزیابی: عملکرد GreenPLM با مقایسه با روش‌های موجود برای انتقال متقابل زبانی، از جمله آنهایی که نیازمند آموزش مجدد پرهزینه هستند، ارزیابی شده است. معیارهایی مانند دقت (accuracy)، F1-score، و سایر معیارهای استاندارد NLP برای سنجش کیفیت مدل‌ها به کار گرفته شده‌اند. علاوه بر این، مصرف انرژی و منابع محاسباتی نیز به دقت مورد سنجش قرار گرفته تا اثربخشی GreenPLM در زمینه پایداری تأیید شود.

به طور خلاصه، روش‌شناسی GreenPLM یک رویکرد «ترجمه پارامترها» را ارائه می‌دهد که با حداقل تغییرات در معماری و وزن‌های مدل، دانش زبانی را از یک زبان به زبان دیگر منتقل می‌کند. این رویکرد نه تنها از نظر محاسباتی بسیار کارآمد است، بلکه با یک مرحله پیش‌آموزش سبک، به نتایج پیشگامانه‌ای دست می‌یابد.

یافته‌های کلیدی

نتایج حاصل از پژوهش GreenPLM بسیار چشمگیر بوده و پتانسیل بالای این چارچوب را برای متحول کردن رویکردهای انتقال زبانی متقابل در NLP نشان می‌دهد. یافته‌های اصلی به شرح زیر است:

• عملکرد قابل مقایسه با روش‌های پرهزینه: GreenPLM بدون نیاز به آموزش اضافی یا با حداقل آموزش، عملکردی قابل مقایسه و حتی در برخی موارد بهتر از روش‌های مبتنی بر آموزش مجدد پرهزینه و پیچیده را به نمایش گذاشت. این امر در ۱۸ زبان مختلف تأیید شد که شامل طیف وسیعی از خانواده‌های زبانی و میزان منابع موجود بود. این نتیجه اهمیت بالایی دارد زیرا نشان می‌دهد می‌توان بدون صرف منابع عظیم، به نتایج مشابه یا حتی برتر دست یافت.
• کاهش چشمگیر تلاش پیش‌آموزش: در سناریوهایی که داده‌های محدودی برای پیش‌آموزش مستمر وجود داشت، چارچوب GreenPLM با تا ۲۰۰ برابر تلاش کمتر در پیش‌آموزش، توانست از مدل‌های زبانی تک‌زبانه اصلی در شش زبان از هفت زبان آزمایش‌شده پیشی بگیرد. این یافته نشان می‌دهد که بهینه‌سازی منابع نه تنها به معنای کاهش هزینه است، بلکه می‌تواند به بهبود عملکرد نیز منجر شود. این میزان کاهش تلاش، مزایای بی‌نظیری در سرعت توسعه و دسترسی به مدل‌های NLP برای زبان‌های مختلف فراهم می‌کند.
• اثربخشی لغت‌نامه‌های دوزبانه در انتقال مستقیم: این پژوهش به وضوح نشان داد که استفاده از لغت‌نامه‌های دوزبانه یک استراتژی بسیار مؤثر برای انتقال مستقیم دانش از فضای تعبیه‌سازی (embedding space) یک زبان به زبان دیگر است. این رویکرد جایگزینی قوی برای روش‌های پیچیده‌تر نگاشت فضاهای تعبیه‌سازی محسوب می‌شود.
• افزایش برابری زبانی: با فراهم آوردن امکان توسعه مدل‌های با کیفیت برای زبان‌هایی که به طور سنتی از منابع کمی برخوردارند، GreenPLM گام بزرگی در جهت کاهش نابرابری‌های زبانی در هوش مصنوعی برداشته است. این امر به ویژه برای زبان‌های در حال توسعه و اقلیت که اغلب در سایه زبان‌های غالب قرار می‌گیرند، حیاتی است.
• کاهش مصرف انرژی و پایداری: یکی از مهمترین دستاوردهای GreenPLM، کاهش چشمگیر مصرف انرژی مورد نیاز برای توسعه مدل‌های زبانی جدید است. با حذف نیاز به آموزش گسترده از ابتدا، این چارچوب به طور مستقیم به اهداف هوش مصنوعی پایدار (Sustainable AI) کمک می‌کند و اثرات زیست‌محیطی صنعت هوش مصنوعی را کاهش می‌دهد.
• اعتبارسنجی گسترده: آزمایش بر روی ۱۸ زبان مختلف، شامل زبان‌هایی با خصوصیات زبانی متنوع، قدرت تعمیم‌پذیری و پایداری این رویکرد را در مواجهه با چالش‌های مختلف زبانی تأیید می‌کند.

این یافته‌ها نه تنها از نظر آکادمیک اهمیت دارند، بلکه پیامدهای عملی گسترده‌ای برای توسعه آینده NLP و چگونگی دسترسی جوامع مختلف به فناوری‌های پیشرفته زبان خواهند داشت. GreenPLM ثابت می‌کند که کارایی، پایداری و عملکرد می‌توانند دست در دست هم پیش بروند.

کاربردها و دستاوردها

چارچوب GreenPLM با توجه به نوآوری‌ها و یافته‌های کلیدی خود، پیامدها و کاربردهای عملی گسترده‌ای در حوزه‌های مختلف پردازش زبان طبیعی و هوش مصنوعی دارد:

• دموکراتیزه کردن NLP برای زبان‌های کم‌منابع: مهمترین کاربرد GreenPLM در فراهم کردن دسترسی به مدل‌های NLP پیشرفته برای زبان‌هایی است که فاقد داده‌های آموزشی وسیع و منابع محاسباتی کافی هستند. این امر به توسعه ابزارهای ترجمه ماشینی، خلاصه‌سازی، دستیارهای صوتی، و سیستم‌های پرسش و پاسخ به زبان‌هایی کمک می‌کند که تاکنون از این فناوری‌ها بی‌بهره بوده‌اند.
• کاهش هزینه‌های توسعه: سازمان‌ها و شرکت‌هایی که قصد دارند مدل‌های NLP را برای چندین زبان توسعه دهند، می‌توانند با استفاده از GreenPLM هزینه‌های گزاف مربوط به آموزش مجدد و زمان‌بر مدل‌ها را به شدت کاهش دهند. این به معنای صرفه‌جویی در منابع مالی، سخت‌افزاری و نیروی انسانی است.
• توسعه هوش مصنوعی پایدار (Green AI): با کاهش چشمگیر مصرف انرژی مورد نیاز برای آموزش مدل‌های زبانی جدید (تا ۲۰۰ برابر کمتر)، GreenPLM به یک ستون فقرات مهم برای توسعه هوش مصنوعی سبز تبدیل می‌شود. این دستاورد به کاهش ردپای کربن صنعت هوش مصنوعی و حرکت به سمت شیوه‌های پایدارتر کمک می‌کند.
• استقرار سریع‌تر مدل‌ها: توانایی «ترجمه» سریع یک مدل از پیش آموزش‌دیده به یک زبان جدید، به معنای استقرار بسیار سریع‌تر ابزارها و محصولات NLP در بازارهای جدید یا برای جوامع زبانی مختلف است. این سرعت، مزیت رقابتی قابل توجهی برای شرکت‌ها و سازمان‌ها ایجاد می‌کند.
• تحقیقات Cross-Lingual و Transfer Learning: GreenPLM یک روش‌شناسی جدید و قدرتمند را برای انتقال یادگیری متقابل زبانی معرفی می‌کند که می‌تواند الهام‌بخش تحقیقات آتی در این حوزه باشد. این چارچوب می‌تواند به عنوان یک baseline قوی برای مقایسه با روش‌های جدیدتر مورد استفاده قرار گیرد.
• آموزش و توسعه در محیط‌های محدود: برای محققان و توسعه‌دهندگان در کشورهایی که دسترسی به زیرساخت‌های محاسباتی قدرتمند محدود است، GreenPLM یک ابزار دموکراتیک‌کننده فراهم می‌کند تا بتوانند مدل‌های NLP پیچیده را با منابع محلی خود ایجاد و بهبود بخشند.
• دسترسی عمومی به کد و مدل‌ها: تیم تحقیقاتی GreenPLM کدها و مدل‌های خود را به صورت عمومی در دسترس قرار داده‌اند: https://github.com/qcznlp/GreenPLMs. این دستاورد، امکان تکرارپذیری (reproducibility) نتایج و همچنین ساخت و توسعه بیشتر بر پایه این کار را برای جامعه علمی و توسعه‌دهندگان فراهم می‌کند، که خود به تسریع پیشرفت در این حوزه کمک شایانی می‌نماید.

به طور خلاصه، GreenPLM نه تنها یک پیشرفت فنی مهم است، بلکه یک گام بلند در جهت ساختن جهانی فراگیرتر، کارآمدتر و پایدارتر از طریق هوش مصنوعی محسوب می‌شود.

نتیجه‌گیری

پژوهش GreenPLM نقطه‌عطفی مهم در مسیر توسعه پایدار و فراگیر پردازش زبان طبیعی به شمار می‌رود. این مطالعه با ارائه یک چارچوب خلاقانه که امکان انتقال زبانی متقابل مدل‌های زبانی از پیش آموزش‌دیده را با هزینه‌ای نزدیک به صفر فراهم می‌آورد، به طور همزمان به دو چالش بزرگ در حوزه NLP پاسخ می‌دهد: دسترسی نابرابر به فناوری‌های پیشرفته برای تمامی زبان‌ها و مصرف بالای انرژی در آموزش مدل‌های بزرگ.

نتایج حاصل از اعتبارسنجی در ۱۸ زبان، قاطعانه اثربخشی GreenPLM را تأیید می‌کند. این چارچوب توانسته است عملکردی معادل یا حتی بهتر از رویکردهای پرهزینه را ارائه دهد و با یک مرحله پیش‌آموزش مستمر سبک، تلاش‌های آموزشی را تا ۲۰۰ برابر کاهش دهد، در عین حال عملکرد مدل‌های تک‌زبانه اصلی را بهبود بخشد. این دستاورد نه تنها از نظر فنی چشمگیر است، بلکه پیامدهای عملی عمیقی برای آینده NLP دارد.

GreenPLM نه تنها به کاهش نابرابری‌های زبانی و توانمندسازی جوامع کم‌منابع کمک می‌کند، بلکه با رویکرد هوش مصنوعی سبز خود، گامی اساسی در جهت کاهش اثرات زیست‌محیطی فناوری اطلاعات برمی‌دارد. انتشار عمومی کدها و مدل‌ها نیز تضمین می‌کند که جامعه علمی و توسعه‌دهندگان بتوانند از این پیشرفت بهره‌مند شده و بر پایه آن، نوآوری‌های بیشتری را شکل دهند.

در نهایت، GreenPLM یک نمونه برجسته از چگونگی ترکیب نوآوری‌های الگوریتمی با ملاحظات اخلاقی و پایداری است. این پژوهش راه را برای توسعه مدل‌های زبانی قدرتمندتر، فراگیرتر و مسئولانه‌تر هموار می‌سازد و به ما یادآوری می‌کند که آینده هوش مصنوعی باید نه تنها هوشمندانه، بلکه سبز و برای همه باشد.