در سال‌های اخیر، ظهور مدل‌های زبان بزرگ (LLMs) مانند GPT-4 و LLaMA انقلابی در حوزه پردازش زبان طبیعی و هوش مصنوعی ایجاد کرده است. این مدل‌ها توانایی‌های شگفت‌انگیزی در تولید متن، خلاصه‌سازی، ترجمه و پاسخ به سوالات از خود نشان داده‌اند. با این حال، قدرت آن‌ها با یک چالش اساسی همراه است: سوگیری (Bias). از آنجایی که این مدل‌ها بر روی حجم عظیمی از داده‌های موجود در اینترنت آموزش می‌بینند، سوگیری‌های موجود در این داده‌ها را نیز به ارث می‌برند.

یکی از مهم‌ترین و کمتر مورد توجه قرار گرفته‌ترین انواع سوگیری، سوگیری شغلی (Occupational Bias) است. مجموعه داده‌های فعلی که برای آموزش و تنظیم دقیق مدل‌های زبان استفاده می‌شوند، عمدتاً بر روی چند شغل رایج و پرطرفدار مانند برنامه‌نویسی، نویسندگی و بازاریابی متمرکز هستند. این عدم توازن باعث می‌شود که مدل‌ها در پاسخ به پرسش‌های تخصصی مربوط به مشاغل کمتر شناخته‌شده یا فنی، عملکرد ضعیفی داشته باشند و نتوانند به متخصصان این حوزه‌ها کمک مؤثری کنند. این مقاله با عنوان “OccuQuest” به طور مستقیم این مشکل را هدف قرار داده و با ارائه یک مجموعه داده جدید و جامع، گامی مهم در جهت ایجاد مدل‌های زبان بزرگ فراگیر و عادلانه برمی‌دارد که برای طیف وسیعی از متخصصان در حوزه‌های مختلف کاربردی باشند.

این مقاله توسط تیمی از پژوهشگران برجسته شامل مینگ‌فنگ شوئه، دای‌هنگ لیو، ککسین یانگ، گوانتینگ دونگ، ون‌چیانگ لی، ژنگ یوان، چانگ ژو و جینگ‌رن ژو به رشته تحریر درآمده است. این پژوهش در حوزه «محاسبات و زبان» (Computation and Language) قرار می‌گیرد که یکی از شاخه‌های اصلی هوش مصنوعی است و بر روی تعامل میان کامپیوترها و زبان انسان تمرکز دارد.

زمینه این تحقیق، تلاش روزافزون جامعه علمی برای رفع محدودیت‌ها و سوگیری‌های مدل‌های زبان بزرگ است. در حالی که نسل‌های اولیه این مدل‌ها بر روی توانایی‌های عمومی متمرکز بودند، اکنون تمرکز به سمت ساخت مدل‌هایی است که قابل اعتماد، تخصصی و عادلانه باشند. این مقاله با پرداختن به سوگیری شغلی، نه تنها یک ضعف مهم را شناسایی می‌کند، بلکه یک راه‌حل عملی و قابل تکرار برای آن ارائه می‌دهد که می‌تواند الگویی برای مقابله با سایر انواع سوگیری‌ها نیز باشد.

پژوهشگران در این مقاله استدلال می‌کنند که مجموعه داده‌های موجود برای «تنظیم دقیق دستورالعمل» (instruction-tuning) از سوگیری شغلی شدیدی رنج می‌برند. این امر باعث می‌شود مدل‌های زبان بزرگ نتوانند به پرسش‌های تخصصی افراد در مشاغل خاص پاسخ‌های مفید و دقیقی ارائه دهند. برای حل این مشکل، آن‌ها مجموعه داده جدیدی به نام OccuQuest را ایجاد کرده‌اند.

این مجموعه داده عظیم شامل بیش از ۱۱۰,۰۰۰ جفت پرسش و پاسخ و بیش از ۳۰,۰۰۰ گفتگوی تخصصی است که بیش از ۱,۰۰۰ شغل مختلف در ۲۶ دسته شغلی را پوشش می‌دهد. برای اطمینان از پوشش جامع، محققان با استفاده از ChatGPT و یک ساختار سلسله‌مراتبی (شغل، مسئولیت، موضوع، و سوال)، پرسش‌های تخصصی را تولید کرده‌اند. مقایسه OccuQuest با سه مجموعه داده محبوب دیگر (Dolly، ShareGPT و WizardLM) نشان می‌دهد که OccuQuest توزیع بسیار متعادل‌تری در میان مشاغل مختلف دارد. در نهایت، با تنظیم دقیق مدل LLaMA بر روی این مجموعه داده، مدل جدیدی به نام OccuLLaMA ساخته شده که در ارزیابی‌های انجام شده توسط GPT-4 و انسان، به طور قابل توجهی از مدل‌های پیشرفته دیگر در پاسخ به سوالات حرفه‌ای بهتر عمل کرده است.

روش‌شناسی این تحقیق شامل دو مرحله اصلی است: ساخت مجموعه داده و ارزیابی مدل.

مرحله اول: ساخت مجموعه داده OccuQuest

با توجه به کمبود داده‌های تخصصی در مجموعه داده‌های موجود، تیم تحقیق یک رویکرد نوآورانه و سلسله‌مراتبی برای تولید داده اتخاذ کرد:

• سطح ۱: شغل (Occupation): لیستی از بیش از ۱۰۰۰ شغل از منابع معتبر جمع‌آوری شد تا تنوع حداکثری تضمین شود.
• سطح ۲: مسئولیت (Responsibility): برای هر شغل، مسئولیت‌ها و وظایف کلیدی آن تعریف شد. برای مثال، برای یک مهندس عمران، وظایفی مانند «طراحی سازه‌ها» و «مدیریت پروژه» مشخص گردید.
• سطح ۳: موضوع (Topic): هر مسئولیت به موضوعات تخصصی‌تر تقسیم شد. به عنوان مثال، «طراحی سازه‌ها» به موضوعاتی مانند «طراحی پل»، «مکانیک خاک» و «تحلیل تنش» تجزیه شد.
• سطح ۴: سوال (Question): در نهایت، برای هر موضوع، سوالات عملی و واقع‌گرایانه‌ای که یک متخصص ممکن است بپرسد، تولید شد. این فرآیند با کمک ChatGPT انجام گرفت تا مقیاس‌پذیری و کیفیت داده‌ها حفظ شود.

این ساختار سلسله‌مراتبی تضمین می‌کند که داده‌های تولید شده هم گسترده (پوشش مشاغل زیاد) و هم عمیق (پوشش جزئیات تخصصی هر شغل) باشند.

مرحله دوم: آموزش و ارزیابی مدل OccuLLaMA

برای ارزیابی کارایی مجموعه داده، محققان مدل LLaMA را بر روی OccuQuest تنظیم دقیق کرده و مدل جدیدی به نام OccuLLaMA را به وجود آوردند. برای یک سنجش جامع، سه مجموعه آزمون جدید نیز طراحی شد:

• occu-test: یک مجموعه آزمون گسترده که ۲۵ دسته شغلی را پوشش می‌دهد.
• estate set: یک مجموعه آزمون عمیق که به طور خاص بر روی یک حوزه پیچیده یعنی «املاک و مستغلات» تمرکز دارد.
• occu-quora: شامل سوالات واقعی و چالش‌برانگیز استخراج شده از وب‌سایت Quora برای سنجش عملکرد مدل در دنیای واقعی.

عملکرد OccuLLaMA در مقابل مدل‌های رقیب مانند Vicuna، Tulu و WizardLM با استفاده از دو روش ارزیابی شد: ارزیابی خودکار توسط GPT-4 به عنوان داور و ارزیابی توسط داوران انسانی.

تحلیل‌ها و آزمایش‌های انجام شده در این مقاله به نتایج قابل توجهی منجر شده است:

• توزیع متعادل شغلی: اولین و مهم‌ترین یافته، برتری چشمگیر مجموعه داده OccuQuest از نظر توزیع شغلی است. در حالی که مجموعه داده‌های دیگر به شدت به سمت مشاغل حوزه فناوری اطلاعات متمایل هستند، OccuQuest پوشش بسیار وسیع‌تر و متعادل‌تری را در حوزه‌هایی مانند مهندسی، بهداشت و درمان، هنر، علوم پایه و خدمات ارائه می‌دهد.
• عملکرد برتر OccuLLaMA: مدل OccuLLaMA که بر روی این مجموعه داده آموزش دیده، در پاسخ به سوالات تخصصی به طور مداوم از رقبای خود بهتر عمل کرده است. این برتری هم در ارزیابی‌های خودکار با GPT-4 و هم در قضاوت‌های انسانی به اثبات رسیده است.
• موفقیت در سناریوهای واقعی: یکی از قوی‌ترین شواهد موفقیت این رویکرد، عملکرد مدل در مجموعه آزمون `occu-quora` است. در این آزمون که شامل سوالات واقعی کاربران بود، OccuLLaMA توانست در نرخ برد ۸۶.۴٪ در مقابل مدل قدرتمند WizardLM به پیروزی دست یابد. این عدد نشان می‌دهد که پاسخ‌های تولید شده توسط OccuLLaMA به طور قابل توجهی مفیدتر، دقیق‌تر و مرتبط‌تر بوده‌اند.
• افزایش کیفیت پاسخ‌ها: پاسخ‌های OccuLLaMA نه تنها صحیح‌تر بودند، بلکه از نظر ساختار، جزئیات و درک زمینه سوال نیز کیفیت بالاتری داشتند. این مدل توانایی بهتری در ارائه راه‌حل‌های عملی و توضیحات تخصصی متناسب با نیاز هر حرفه از خود نشان داد.

این پژوهش دستاوردها و کاربردهای مهمی برای آینده هوش مصنوعی دارد:

• ارائه یک منبع عمومی ارزشمند: مجموعه داده OccuQuest به عنوان یک منبع آزاد در اختیار جامعه پژوهشی قرار گرفته است. این امر به دیگر محققان اجازه می‌دهد تا مدل‌های زبان تخصصی و کمتر سوگیرانه‌ای را توسعه دهند.
• ایجاد دستیارهای هوش مصنوعی تخصصی: با استفاده از این رویکرد، می‌توان دستیارهای هوش مصنوعی را برای حوزه‌های خاصی مانند پزشکی، حقوق، معماری یا کشاورزی توسعه داد. چنین دستیارهایی می‌توانند به متخصصان در انجام وظایف روزمره، یافتن اطلاعات و تصمیم‌گیری‌های پیچیده کمک شایانی کنند.
• ترویج هوش مصنوعی فراگیر و عادلانه: این کار یک گام اساسی به سوی دموکراتیزه کردن هوش مصنوعی است. با کاهش سوگیری شغلی، مدل‌های زبان بزرگ می‌توانند به ابزاری مفید برای همه افراد جامعه، صرف‌نظر از شغل و تخصصشان، تبدیل شوند.
• ارائه یک الگو برای کاهش سوگیری: روش‌شناسی سلسله‌مراتبی که برای تولید داده در این مقاله به کار رفته، می‌تواند به عنوان الگویی برای شناسایی و کاهش سایر انواع سوگیری‌ها (مانند سوگیری فرهنگی یا جغرافیایی) در مدل‌های زبان مورد استفاده قرار گیرد.

مقاله “OccuQuest” به طور مؤثری یکی از چالش‌های پنهان اما مهم مدل‌های زبان بزرگ، یعنی سوگیری شغلی، را آشکار کرده و راه‌حلی عملی و مقیاس‌پذیر برای آن ارائه می‌دهد. با ایجاد مجموعه داده جامع و متعادل OccuQuest، نویسندگان نشان دادند که می‌توان مدل‌هایی ساخت که درک عمیق‌تری از نیازهای اطلاعاتی طیف گسترده‌ای از مشاغل دارند.

مدل OccuLLaMA، که محصول این پژوهش است، با عملکرد درخشان خود ثابت می‌کند که تمرکز بر کیفیت و تنوع داده‌های آموزشی می‌تواند به طور مستقیم به بهبود کارایی و مفید بودن مدل‌های هوش مصنوعی منجر شود. این تحقیق نه تنها یک ابزار جدید به جعبه ابزار توسعه‌دهندگان هوش مصنوعی اضافه می‌کند، بلکه مسیری روشن برای ساختن فناوری‌هایی را ترسیم می‌کند که به جای تقویت نابرابری‌ها، به توانمندسازی همه اقشار جامعه کمک می‌کنند. در نهایت، OccuQuest یک گام مهم به سوی آینده‌ای است که در آن هوش مصنوعی به یک همکار واقعی برای هر متخصصی تبدیل می‌شود.