در سال‌های اخیر، مدل‌های زبانی بزرگ (Large Language Models – LLMs) نقشی محوری در پیشرفت هوش مصنوعی ایفا کرده‌اند. این مدل‌ها که زمانی عمدتاً برای پردازش زبان طبیعی به کار می‌رفتند، اکنون توانایی‌های شگفت‌انگیزی در درک، تحلیل و تولید کدهای برنامه‌نویسی از خود نشان داده‌اند. ابزارهایی مانند GitHub Copilot نمونه‌ای بارز از این تحول هستند که به دستیاران هوشمند برنامه‌نویسان تبدیل شده‌اند. با این حال، آموزش چنین مدل‌های قدرتمندی به مجموعه داده‌های بسیار عظیم از کدهای منبع نیاز دارد؛ چالشی که با مسائل مربوط به حق نشر، مجوزهای نرم‌افزاری و دسترسی آزاد به داده‌ها گره خورده است.

مقاله “The Stack: 3 TB of permissively licensed source code” که توسط گروهی از پژوهشگران برجسته در قالب پروژه BigCode ارائه شده است، پاسخی مستقیم به این چالش‌هاست. این مقاله نه تنها یک مجموعه داده عظیم به نام “اِستَک” (The Stack) را معرفی می‌کند، بلکه یک چارچوب کامل برای جمع‌آوری، پالایش و مدیریت مسئولانه داده‌های کد منبع ارائه می‌دهد. اهمیت این کار در سه جنبه اصلی نهفته است: حجم بی‌سابقه، تمرکز بر مجوزهای آزاد (Permissive Licenses) و تعهد به شفافیت و حریم خصوصی توسعه‌دهندگان. این مقاله راه را برای تحقیقات باز، مسئولانه و قابل تکرار در زمینه مدل‌های هوش مصنوعی برای کدنویسی هموار می‌سازد.

این مقاله حاصل همکاری تیمی بزرگ از محققان برجسته از جمله دنیس کوستکوف، ریموند لی، لبنی بن علال، و دیگران است. این نویسندگان از مراکز تحقیقاتی پیشرو مانند Hugging Face و ServiceNow هستند و در قالب پروژه‌ای مشترک به نام “BigCode” فعالیت می‌کنند. پروژه BigCode یک ابتکار تحقیقاتی باز و علمی است که با هدف توسعه مسئولانه مدل‌های زبانی بزرگ برای کدنویسی شکل گرفته است.

این پروژه بر خلاف بسیاری از تلاش‌های تجاری که در محیطی بسته انجام می‌شود، بر اصول شفافیت، دسترسی آزاد و همکاری جامعه علمی تأکید دارد. هدف اصلی BigCode ایجاد ابزارها و مجموعه داده‌هایی است که به کل جامعه پژوهشی اجازه دهد تا بدون محدودیت‌های قانونی و مالی، به پیشبرد مرزهای دانش در زمینه هوش مصنوعی مولد کد بپردازند. مقاله “The Stack” یکی از اولین و بنیادی‌ترین خروجی‌های این پروژه محسوب می‌شود که زیرساخت داده‌ای لازم برای تحقق اهداف بزرگ‌تر آن را فراهم کرده است.

مقاله، مجموعه داده “اِستَک” را معرفی می‌کند که حجمی معادل ۳.۱ ترابایت کد منبع از ۳۰ زبان برنامه‌نویسی مختلف را در بر می‌گیرد. ویژگی منحصربه‌فرد این مجموعه داده، تمرکز آن بر کدهایی است که تحت مجوزهای نرم‌افزاری آزاد (permissive) منتشر شده‌اند. این مجوزها (مانند MIT, Apache 2.0, BSD) به کاربران اجازه می‌دهند تا بدون نگرانی‌های عمده حقوقی از کدها برای اهداف مختلف، از جمله آموزش مدل‌های هوش مصنوعی، استفاده کنند.

پژوهشگران در این مقاله به تفصیل فرآیند جمع‌آوری داده‌ها، روش‌های فیلترسازی بر اساس مجوزها، و تکنیک‌های به کار رفته برای کپی‌برداری‌زدایی نزدیک (near-deduplication) را شرح می‌دهند. علاوه بر این، یک برنامه جامع برای حاکمیت داده‌ها (Data Governance) ارائه شده است که شامل ابزاری به نام “Am I in The Stack” برای جستجوی کدها توسط توسعه‌دهندگان و فرآیندی شفاف برای حذف کدها در صورت درخواست مالک آن است. در نهایت، مقاله نتایج امیدوارکننده‌ای از آموزش مدل‌های ۳۵۰ میلیون پارامتری بر روی زیرمجموعه‌های مختلف پایتون از این دیتاست ارائه می‌دهد که نشان‌دهنده کیفیت و کارایی بالای “اِستَک” است.

فرآیند ساخت مجموعه داده “اِستَک” شامل چندین مرحله دقیق و روشمند بود که در ادامه تشریح می‌شود:

• جمع‌آوری داده‌ها: داده‌های اولیه از مخازن عمومی کد در اینترنت (عمدتاً GitHub) استخراج شدند. این فرآیند به‌گونه‌ای طراحی شد که طیف وسیعی از پروژه‌ها، از بزرگ‌ترین کتابخانه‌های نرم‌افزاری تا پروژه‌های کوچک شخصی را پوشش دهد تا تنوع داده‌ها به حداکثر برسد.
• شناسایی و فیلترسازی مجوزها: این مرحله یکی از کلیدی‌ترین نوآوری‌های مقاله است. تیم تحقیق با استفاده از ابزارهای پیشرفته تحلیل کد، فایل‌های `LICENSE` را در هر مخزن شناسایی کرده و نوع مجوز آن را استخراج کردند. سپس، تنها کدهایی که تحت مجوزهای آزاد و غیر محدودکننده (Permissive) قرار داشتند، برای ساخت زیرمجموعه اصلی “اِستَک” انتخاب شدند. این کار ریسک‌های حقوقی مرتبط با استفاده از داده‌های آموزشی را به شدت کاهش می‌دهد.
• کپی‌برداری‌زدایی نزدیک (Near-Deduplication): در مجموعه داده‌های عظیم کد، بسیاری از فایل‌ها یا قطعه‌کدها تکراری یا بسیار شبیه به هم هستند. وجود این داده‌های تکراری می‌تواند فرآیند آموزش مدل را مختل کرده و منجر به سوگیری (bias) شود. محققان با استفاده از الگوریتم‌های مبتنی بر هش (hashing) و MinHash، کدهای تقریباً یکسان را شناسایی و از مجموعه داده حذف کردند. این کار نه تنها حجم داده‌ها را بهینه کرد، بلکه کیفیت آموزش را نیز به طرز چشمگیری بهبود بخشید.
• حاکمیت داده و ملاحظات اخلاقی: نویسندگان با درک اهمیت حریم خصوصی و حقوق مالکیت معنوی توسعه‌دهندگان، ابزارها و فرآیندهای شفافی را ایجاد کردند. ابزار “Am I in The Stack” به هر توسعه‌دهنده‌ای اجازه می‌دهد تا با جستجوی بخشی از کد خود، از وجود آن در مجموعه داده مطلع شود. همچنین، یک رویه مشخص برای ثبت درخواست حذف کد (opt-out) فراهم شده است که نشان‌دهنده تعهد پروژه به اصول اخلاقی و مسئولیت‌پذیری است.

آزمایش‌های انجام‌شده در این مقاله به دو یافته مهم و تأثیرگذار منجر شد:

1. تأثیر شگرف کپی‌برداری‌زدایی بر عملکرد مدل: نتایج به وضوح نشان دادند که مدل‌های آموزش‌دیده بر روی نسخه کپی‌برداری‌زدایی‌شده “اِستَک” عملکرد بسیار بهتری در بنچمارک‌های استاندارد تولید کد مانند HumanEval و MBPP داشتند. این یافته تأکید می‌کند که کیفیت و تنوع داده‌ها، حتی بیش از کمیت خام، در آموزش مدل‌های کارآمد نقش دارد. حذف داده‌های اضافی و تکراری به مدل اجازه می‌دهد تا الگوهای معنادارتری را بیاموزد.
2. کفایت داده‌های با مجوز آزاد برای دستیابی به عملکرد پیشرفته: شاید مهم‌ترین نتیجه این تحقیق آن بود که می‌توان تنها با استفاده از داده‌های دارای مجوزهای کاملاً آزاد، به عملکردی مشابه یا حتی بهتر از مدل‌هایی دست یافت که بر روی مجموعه داده‌های عظیم و بدون فیلتر مجوز آموزش دیده‌اند. این یافته یک پیام قدرتمند برای جامعه هوش مصنوعی دارد: برای ساخت مدل‌های پیشرفته نیازی به نادیده گرفتن حقوق مالکیت معنوی و استفاده از داده‌های خاکستری نیست. این امر راه را برای توسعه پایدار و قانونی ابزارهای هوش مصنوعی هموار می‌کند.

انتشار “اِستَک” و نتایج این مقاله دستاوردهای متعددی برای جامعه علمی و صنعت نرم‌افزار به همراه داشته است:

• توانمندسازی تحقیقات باز: “اِستَک” به عنوان یک منبع داده استاندارد، باز و باکیفیت، به محققان در سراسر جهان اجازه می‌دهد تا مدل‌های زبانی کد را توسعه داده، ارزیابی کرده و نتایج خود را با دیگران مقایسه کنند. این امر به پیشرفت سریع‌تر و شفاف‌تر این حوزه کمک شایانی می‌کند.
• ایجاد پایه برای ابزارهای متن‌باز: این مجموعه داده زیربنای اصلی برای آموزش مدل‌های قدرتمند و متن‌بازی مانند StarCoder (محصول بعدی پروژه BigCode) بوده است. این مدل‌ها به عنوان جایگزین‌های آزاد برای ابزارهای تجاری مانند Copilot عمل کرده و نوآوری را در اکوسیستم متن‌باز تقویت می‌کنند.
• ترویج استاندارد جدید در مدیریت داده: رویکرد مسئولانه این پروژه در قبال مجوزها و حریم خصوصی توسعه‌دهندگان، یک الگو و استاندارد جدید برای پروژه‌های آینده در زمینه جمع‌آوری داده‌های هوش مصنوعی ایجاد کرده است.
• کاربردهای عملی برای توسعه‌دهندگان: مدل‌های آموزش‌دیده بر روی “اِستَک” می‌توانند در طیف وسیعی از ابزارها به کار روند؛ از تکمیل خودکار کد (code completion) و رفع اشکال خودکار (automated debugging) گرفته تا ترجمه کد بین زبان‌های مختلف و تولید مستندات فنی (documentation generation).

مقاله “The Stack” فراتر از معرفی یک مجموعه داده عظیم است؛ این مقاله یک بیانیه قدرتمند در مورد چگونگی توسعه هوش مصنوعی به شیوه‌ای باز، مسئولانه و اخلاقی است. پژوهشگران با ارائه “اِستَک”، نشان دادند که می‌توان بدون قربانی کردن کیفیت و عملکرد، به اصول حقوقی و اخلاقی پایبند بود. یافته‌های کلیدی این مقاله، به‌ویژه اهمیت کپی‌برداری‌زدایی و کفایت داده‌های با مجوز آزاد، تأثیری عمیق بر رویکردهای آینده در زمینه آموزش مدل‌های زبانی خواهد داشت.

“اِستَک” نه تنها یک منبع ارزشمند برای محققان و توسعه‌دهندگان است، بلکه به عنوان یک نقشه راه برای ساخت زیرساخت‌های داده‌ای نسل آینده عمل می‌کند؛ زیرساخت‌هایی که بر پایه شفافیت، همکاری و احترام به جامعه‌ای که داده‌ها را تولید کرده، بنا شده‌اند.