مقاله حاضر، با عنوان انگلیسی “Federated Split BERT for Heterogeneous Text Classification” و عنوان فارسی “برت تقسیم‌شده فدرال برای طبقه‌بندی ناهمگن متن”، به بررسی چالش‌های موجود در آموزش مدل‌های برت (BERT) در محیط‌های یادگیری فدرال (Federated Learning) می‌پردازد. در این محیط‌ها، داده‌ها به صورت غیرمتمرکز بر روی چندین کلاینت قرار دارند و به دلیل ملاحظات حریم خصوصی و قوانین مربوطه، امکان انتقال آن‌ها به یک سرور مرکزی وجود ندارد. هدف اصلی این مقاله، ارائه یک چارچوب کارآمد و مؤثر برای آموزش مدل‌های برت در چنین شرایطی است، به گونه‌ای که ضمن حفظ حریم خصوصی داده‌ها، عملکرد مدل نیز در سطح قابل قبولی باقی بماند.

مدل‌های برت، به عنوان یکی از پیشرفته‌ترین مدل‌های زبانی، توانسته‌اند در بسیاری از وظایف پردازش زبان طبیعی (NLP) به نتایج چشمگیری دست یابند. با این حال، استفاده از این مدل‌ها در دنیای واقعی، اغلب با محدودیت‌هایی همراه است. یکی از این محدودیت‌ها، مسئله حریم خصوصی داده‌ها است. بسیاری از شرکت‌ها و سازمان‌ها، به دلیل قوانین و مقررات سخت‌گیرانه، مجاز به اشتراک‌گذاری داده‌های خود با دیگران نیستند. در چنین شرایطی، یادگیری فدرال به عنوان یک راهکار امیدوارکننده برای آموزش مدل‌های یادگیری ماشین بدون نیاز به انتقال داده‌ها به یک سرور مرکزی، مطرح می‌شود.

با این حال، آموزش مدل‌های برت در محیط یادگیری فدرال نیز با چالش‌های خاص خود همراه است. یکی از مهم‌ترین این چالش‌ها، مسئله ناهمگنی داده‌ها (Heterogeneous Data) است. در بسیاری از موارد، داده‌های موجود بر روی کلاینت‌های مختلف، توزیع یکسانی ندارند. به عنوان مثال، ممکن است یک کلاینت دارای داده‌هایی با برچسب‌های خاص باشد، در حالی که کلاینت دیگر دارای داده‌هایی با برچسب‌های متفاوت باشد. این ناهمگنی داده‌ها می‌تواند منجر به کاهش عملکرد مدل در محیط یادگیری فدرال شود.

اهمیت این مقاله از آنجا ناشی می‌شود که به بررسی و ارائه راهکارهایی برای مقابله با مسئله ناهمگنی داده‌ها در آموزش مدل‌های برت در محیط یادگیری فدرال می‌پردازد. این مقاله با ارائه یک چارچوب جدید، به نام FedSplitBERT، سعی دارد تا ضمن حفظ حریم خصوصی داده‌ها، عملکرد مدل را در شرایط ناهمگن بهبود بخشد.

این مقاله توسط آقایان Zhengyang Li، Shijing Si، Jianzong Wang و Jing Xiao به نگارش درآمده است. نویسندگان این مقاله، متخصصان حوزه پردازش زبان طبیعی، یادگیری ماشین و هوش مصنوعی هستند. زمینه تحقیقاتی آن‌ها، شامل یادگیری فدرال، مدل‌های زبانی بزرگ مانند برت، و روش‌های کاهش هزینه ارتباطات در یادگیری توزیع‌شده است.

این تحقیق در دسته‌بندی‌های “محاسبات و زبان”، “هوش مصنوعی” و “یادگیری ماشین” قرار می‌گیرد. این دسته‌بندی‌ها نشان‌دهنده تمرکز مقاله بر جنبه‌های محاسباتی، هوشمندسازی و یادگیری ماشینی در حل مسئله طبقه‌بندی متن ناهمگن در محیط یادگیری فدرال است.

چکیده این مقاله به شرح زیر است: مدل‌های برت پیش‌آموزش‌شده، در بسیاری از وظایف پردازش زبان طبیعی، عملکرد قابل توجهی از خود نشان داده‌اند. با این حال، در بسیاری از شرایط دنیای واقعی، داده‌های متنی به صورت غیرمتمرکز بر روی چندین کلاینت قرار دارند و به دلیل ملاحظات حریم خصوصی و قوانین مربوطه، امکان انتقال آن‌ها به یک سرور مرکزی وجود ندارد. یادگیری فدرال به چندین کلاینت امکان می‌دهد تا به صورت مشترک یک مدل سراسری را آموزش دهند، در حالی که حریم خصوصی داده‌های محلی حفظ می‌شود. برخی از تحقیقات به بررسی برت در محیط یادگیری فدرال پرداخته‌اند، اما مسئله کاهش عملکرد ناشی از داده‌های ناهمگن (به عنوان مثال، غیر مستقل و هم‌توزیع – Non-IID) بر روی کلاینت‌ها، هنوز به طور کامل مورد بررسی قرار نگرفته است.

برای حل این مشکل، ما یک چارچوب به نام FedSplitBERT پیشنهاد می‌کنیم که داده‌های ناهمگن را مدیریت می‌کند و با تقسیم لایه‌های رمزگذار برت به بخش‌های محلی و سراسری، هزینه ارتباطات را کاهش می‌دهد. پارامترهای بخش محلی، فقط توسط کلاینت محلی آموزش داده می‌شوند، در حالی که پارامترهای بخش سراسری، با جمع‌آوری گرادیان‌های چندین کلاینت آموزش داده می‌شوند. به دلیل حجم بالای برت، ما یک روش کوانتیزاسیون را برای کاهش بیشتر هزینه ارتباطات با حداقل کاهش عملکرد، بررسی می‌کنیم. چارچوب ما آماده استفاده و سازگار با بسیاری از الگوریتم‌های یادگیری فدرال موجود، از جمله FedAvg، FedProx و FedAdam است. آزمایش‌های ما، اثربخشی چارچوب پیشنهادی را تأیید می‌کند، که عملکردی به مراتب بهتر از روش‌های پایه دارد، در حالی که FedSplitBERT با کوانتیزاسیون می‌تواند هزینه ارتباطات را به میزان 11.9 برابر کاهش دهد.

روش‌شناسی تحقیق در این مقاله بر پایه رویکردی ترکیبی از یادگیری فدرال، مدل‌های زبانی پیش‌آموزش‌شده (برت) و تکنیک‌های کاهش هزینه ارتباطات است. به طور خلاصه، روش‌شناسی این تحقیق را می‌توان به شرح زیر خلاصه کرد:

• چارچوب FedSplitBERT: ارائه یک چارچوب جدید برای آموزش مدل‌های برت در محیط یادگیری فدرال با هدف کاهش هزینه ارتباطات و بهبود عملکرد در شرایط ناهمگن. این چارچوب، لایه‌های رمزگذار برت را به دو بخش محلی و سراسری تقسیم می‌کند.
• آموزش بخش محلی: پارامترهای بخش محلی برت، فقط توسط کلاینت محلی و با استفاده از داده‌های موجود بر روی آن کلاینت، آموزش داده می‌شوند. این امر باعث می‌شود تا مدل، به ویژگی‌های خاص داده‌های محلی سازگار شود.
• آموزش بخش سراسری: پارامترهای بخش سراسری برت، با جمع‌آوری گرادیان‌های چندین کلاینت آموزش داده می‌شوند. این امر باعث می‌شود تا مدل، از دانش کلی موجود در تمام کلاینت‌ها بهره‌مند شود.
• کوانتیزاسیون: استفاده از روش‌های کوانتیزاسیون برای کاهش حجم داده‌های ارسالی بین کلاینت‌ها و سرور. کوانتیزاسیون، فرآیندی است که در آن، مقادیر پیوسته به مقادیر گسسته تبدیل می‌شوند. این امر می‌تواند منجر به کاهش حجم داده‌ها و در نتیجه، کاهش هزینه ارتباطات شود.
• سازگاری با الگوریتم‌های یادگیری فدرال: چارچوب FedSplitBERT به گونه‌ای طراحی شده است که با بسیاری از الگوریتم‌های یادگیری فدرال موجود، از جمله FedAvg، FedProx و FedAdam، سازگار باشد. این امر، استفاده از این چارچوب را برای محققان و توسعه‌دهندگان آسان‌تر می‌کند.
• ارزیابی تجربی: انجام آزمایش‌های تجربی بر روی مجموعه‌داده‌های مختلف برای ارزیابی عملکرد FedSplitBERT در مقایسه با روش‌های پایه. این آزمایش‌ها، اثربخشی چارچوب پیشنهادی را در کاهش هزینه ارتباطات و بهبود عملکرد، نشان می‌دهند.

به عنوان مثال، تصور کنید چندین بیمارستان در شهرهای مختلف می‌خواهند یک مدل طبقه‌بندی تصاویر پزشکی را به صورت مشترک آموزش دهند. هر بیمارستان دارای مجموعه داده‌ای از تصاویر پزشکی است که شامل بیماری‌های مختلف است. اما به دلیل قوانین حریم خصوصی، بیمارستان‌ها مجاز به اشتراک‌گذاری تصاویر خود با یکدیگر نیستند. FedSplitBERT در اینجا می‌تواند به کار آید. هر بیمارستان بخش محلی مدل برت را با استفاده از تصاویر خود آموزش می‌دهد، در حالی که بخش سراسری مدل، با جمع‌آوری گرادیان‌های آموزش‌داده‌شده از تمام بیمارستان‌ها، به‌روزرسانی می‌شود. به این ترتیب، تمام بیمارستان‌ها می‌توانند از دانش یکدیگر بهره‌مند شوند، بدون اینکه نیاز به اشتراک‌گذاری تصاویر پزشکی خود داشته باشند.

یافته‌های کلیدی این تحقیق را می‌توان به شرح زیر خلاصه کرد:

• عملکرد بهتر نسبت به روش‌های پایه: چارچوب FedSplitBERT در آزمایش‌های انجام شده، عملکردی به مراتب بهتر از روش‌های پایه از خود نشان داده است. این نشان می‌دهد که رویکرد تقسیم لایه‌های برت به بخش‌های محلی و سراسری، می‌تواند به طور مؤثری با مسئله ناهمگنی داده‌ها مقابله کند.
• کاهش هزینه ارتباطات: استفاده از روش کوانتیزاسیون در FedSplitBERT، منجر به کاهش قابل توجه هزینه ارتباطات شده است. در آزمایش‌ها، این روش توانسته است هزینه ارتباطات را تا 11.9 برابر کاهش دهد.
• سازگاری با الگوریتم‌های یادگیری فدرال: FedSplitBERT به گونه‌ای طراحی شده است که با بسیاری از الگوریتم‌های یادگیری فدرال موجود، سازگار باشد. این امر، استفاده از این چارچوب را برای محققان و توسعه‌دهندگان آسان‌تر می‌کند.

این یافته‌ها نشان می‌دهند که FedSplitBERT یک چارچوب کارآمد و مؤثر برای آموزش مدل‌های برت در محیط یادگیری فدرال است. این چارچوب، ضمن حفظ حریم خصوصی داده‌ها، می‌تواند عملکرد مدل را در شرایط ناهمگن بهبود بخشیده و هزینه ارتباطات را کاهش دهد.

کاربردها و دستاوردهای این تحقیق را می‌توان به شرح زیر برشمرد:

• طبقه‌بندی متون در حوزه‌های حساس به حریم خصوصی: FedSplitBERT می‌تواند در طبقه‌بندی متون در حوزه‌هایی که حریم خصوصی داده‌ها بسیار مهم است، مانند حوزه پزشکی، حقوقی و مالی، مورد استفاده قرار گیرد.
• بهبود عملکرد مدل در شرایط ناهمگن: این چارچوب می‌تواند به بهبود عملکرد مدل‌های زبانی در شرایطی که داده‌ها به صورت ناهمگن بر روی کلاینت‌های مختلف توزیع شده‌اند، کمک کند.
• کاهش هزینه ارتباطات در یادگیری فدرال: استفاده از روش کوانتیزاسیون در FedSplitBERT، می‌تواند به کاهش هزینه ارتباطات در یادگیری فدرال کمک کند، که این امر برای کاربردهایی که پهنای باند محدود است، بسیار مهم است.
• ارائه یک چارچوب آماده استفاده و سازگار: FedSplitBERT به گونه‌ای طراحی شده است که آماده استفاده و سازگار با بسیاری از الگوریتم‌های یادگیری فدرال موجود باشد. این امر، استفاده از این چارچوب را برای محققان و توسعه‌دهندگان آسان‌تر می‌کند.

به عنوان نمونه‌ای کاربردی، می‌توان به سیستم‌های تشخیص تقلب در بانکداری اشاره کرد. بانک‌ها معمولاً دارای داده‌های زیادی از تراکنش‌های مشتریان خود هستند، اما به دلیل قوانین حریم خصوصی، مجاز به اشتراک‌گذاری این داده‌ها با سایر بانک‌ها نیستند. FedSplitBERT می‌تواند به بانک‌ها کمک کند تا یک مدل تشخیص تقلب را به صورت مشترک آموزش دهند، بدون اینکه نیاز به اشتراک‌گذاری داده‌های خود داشته باشند.

در مجموع، مقاله “برت تقسیم‌شده فدرال برای طبقه‌بندی ناهمگن متن”، یک چارچوب نوآورانه و مؤثر برای آموزش مدل‌های برت در محیط یادگیری فدرال ارائه می‌دهد. این چارچوب، با تقسیم لایه‌های برت به بخش‌های محلی و سراسری و استفاده از روش کوانتیزاسیون، می‌تواند به طور مؤثری با مسئله ناهمگنی داده‌ها مقابله کرده و هزینه ارتباطات را کاهش دهد. یافته‌های این تحقیق، نشان می‌دهد که FedSplitBERT یک راهکار امیدوارکننده برای استفاده از مدل‌های زبانی پیش‌آموزش‌شده در کاربردهایی است که حریم خصوصی داده‌ها بسیار مهم است.

تحقیقات آتی می‌توانند بر روی بهبود بیشتر روش‌های کوانتیزاسیون، بررسی معماری‌های جدید برای تقسیم لایه‌های برت، و ارزیابی FedSplitBERT بر روی مجموعه‌داده‌های بزرگتر و متنوع‌تر، تمرکز کنند. همچنین، بررسی کاربردهای این چارچوب در سایر حوزه‌های پردازش زبان طبیعی و یادگیری ماشین، می‌تواند به گسترش دامنه استفاده از آن کمک کند.