۱. معرفی مقاله و اهمیت آن

در سالیان اخیر، مدل‌های زبانی از پیش آموزش‌دیده (Pre-trained Language Models – PLMs) انقلابی در حوزه پردازش زبان‌های طبیعی (NLP) و مدل‌سازی کد ایجاد کرده‌اند. این مدل‌ها که بر روی حجم عظیمی از داده‌های متنی یا کدی آموزش دیده‌اند، قادرند نمایش‌های متنی (contextual representations) غنی و پیچیده‌ای از ورودی‌ها ایجاد کنند. هدف اصلی این مدل‌ها، درک ساختارهای زبانی و معنایی است که به آن‌ها اجازه می‌دهد در وظایف مختلفی نظیر ترجمه ماشینی، خلاصه‌سازی، پاسخ به سؤال و حتی تولید کد، عملکردی بی‌سابقه از خود نشان دهند.

با این حال، یک سؤال اساسی همواره باقی مانده است: این مدل‌ها دقیقاً چه چیزی را در نمایش‌های پنهان خود کدگذاری می‌کنند؟ آیا آن‌ها فقط روابط آماری کلمات را یاد می‌گیرند یا ساختارهای گرامری و منطقی عمیق‌تری را نیز درک می‌کنند؟ در مورد کدهای برنامه‌نویسی، این سؤال اهمیت دوچندانی پیدا می‌کند. درخت‌های نحوی انتزاعی (Abstract Syntax Trees – ASTs) نمایش‌های ساختاریافته و سلسله‌مراتبی از کد منبع هستند که ساختار گرامری یک برنامه را بدون جزئیات کم‌اهمیت (مانند پرانتزهای اضافی یا نقطه ویرگول‌ها) نشان می‌دهند. ASTها در بسیاری از ابزارهای مهندسی نرم‌افزار، از کامپایلرها گرفته تا تحلیل‌گرهای کد و محیط‌های توسعه یکپارچه (IDE)، نقشی محوری دارند.

مقاله “AST-Probe: Recovering abstract syntax trees from hidden representations of pre-trained language models” به بررسی دقیق این موضوع می‌پردازد که آیا PLMها ساختار گرامری کامل یک زبان برنامه‌نویسی را در نمایش‌های پنهان خود کدگذاری می‌کنند یا خیر. این تحقیق با معرفی یک روش پروبینگ (probing) نوآورانه به نام AST-Probe، نشان می‌دهد که نه تنها چنین اطلاعاتی در مدل‌ها وجود دارد، بلکه می‌توان کل درخت نحوی انتزاعی یک قطعه کد ورودی را از نمایش‌های پنهان مدل بازیابی کرد. اهمیت این مقاله در اثبات عمق درک مدل‌های زبانی از ساختار کد و گشودن مسیرهای جدیدی برای تفسیرپذیری و بهبود این مدل‌ها نهفته است.

۲. نویسندگان و زمینه تحقیق

این تحقیق توسط تیمی از پژوهشگران شامل José Antonio Hernández López، Martin Weyssow، Jesús Sánchez Cuadrado و Houari Sahraoui انجام شده است. این نویسندگان از حوزه‌های مختلفی در علم کامپیوتر، از جمله یادگیری ماشین، پردازش زبان‌های طبیعی، زبان‌های برنامه‌نویسی و مهندسی نرم‌افزار، تخصص دارند. این ترکیب تخصص‌ها نشان‌دهنده ماهیت بین‌رشته‌ای این تحقیق است که پلی میان مدل‌های زبانی پیشرفته و درک عمیق ساختارهای نرم‌افزاری ایجاد می‌کند.

زمینه اصلی این تحقیق، مطالعه ویژگی‌های زبانی فضاهای برداری پنهان (hidden vector spaces) در مدل‌های زبانی است. این روش که به عنوان “پروبینگ” شناخته می‌شود، شامل آموزش یک طبقه‌بند ساده (معمولاً خطی) بر روی نمایش‌های پنهان مدل برای پیش‌بینی یک ویژگی زبانی خاص است. موفقیت طبقه‌بند نشان می‌دهد که مدل اطلاعات مربوط به آن ویژگی را در نمایش‌های خود کدگذاری کرده است. پیش از این، تحقیقات زیادی با استفاده از پروبینگ نشان داده بودند که PLMها ویژگی‌های زبانی ساده‌تر مانند نقش‌های گرامری (part-of-speech)، وابستگی‌های نحوی (syntactic dependencies) یا حتی جنسیت کلمات را در خود جای داده‌اند.

اما نقطه تمایز این مقاله در آن است که هیچ یک از کارهای قبلی به ارزیابی این موضوع نپرداخته بودند که آیا این مدل‌ها کل ساختار گرامری یک زبان برنامه‌نویسی را رمزگذاری می‌کنند یا خیر. این مقاله این خلأ تحقیقاتی را با تمرکز بر ASTها پر می‌کند، که نشان‌دهنده یک گام بزرگ از درک ویژگی‌های سطحی به سوی فهم ساختارهای عمیق و سلسله‌مراتبی است.

۳. چکیده و خلاصه محتوا

هدف اصلی مدل‌های زبانی از پیش آموزش‌دیده، یادگیری نمایش‌های متنی از داده‌های متنی است. این مدل‌ها به طور گسترده‌ای در پردازش زبان طبیعی و مدل‌سازی کد مورد استفاده قرار می‌گیرند. با استفاده از روش پروبینگ، که تکنیکی برای مطالعه ویژگی‌های زبانی فضاهای برداری پنهان است، کارهای قبلی نشان داده‌اند که این مدل‌ها ویژگی‌های زبانی ساده را در نمایش‌های پنهان خود کدگذاری می‌کنند.

با این حال، همانطور که اشاره شد، هیچ یک از تحقیقات قبلی این موضوع را ارزیابی نکرده بودند که آیا این مدل‌ها کل ساختار گرامری یک زبان برنامه‌نویسی را کدگذاری می‌کنند. این مقاله این پرسش بنیادین را مطرح کرده و به آن پاسخ می‌دهد. نویسندگان وجود یک زیرفضای نحوی (syntactic subspace) را در نمایش‌های پنهان PLMها اثبات می‌کنند که حاوی اطلاعات نحوی کامل یک زبان برنامه‌نویسی است.

این تحقیق نشان می‌دهد که این زیرفضا قابل استخراج از نمایش‌های مدل‌ها است و یک روش پروبینگ جدید به نام AST-Probe را معرفی می‌کند. این روش قادر است کل درخت نحوی انتزاعی (AST) یک قطعه کد ورودی را بازیابی کند. در آزمایش‌های انجام شده، نویسندگان وجود این زیرفضای نحوی را در پنج مدل زبانی از پیش آموزش‌دیده پیشرفته اثبات کرده‌اند.

علاوه بر این، نتایج نشان می‌دهند که لایه‌های میانی این مدل‌ها بیشترین اطلاعات AST را کدگذاری می‌کنند. این یافته بسیار مهم است، زیرا به درک بهتر نحوه کارکرد داخلی PLMها کمک می‌کند. در نهایت، مقاله اندازه بهینه این زیرفضای نحوی را تخمین می‌زند و نشان می‌دهد که ابعاد آن به طور قابل توجهی کمتر از ابعاد فضاهای نمایشی خود مدل‌ها است. این موضوع حاکی از آن است که PLMها از بخش کوچکی از فضاهای نمایشی خود برای کدگذاری اطلاعات نحوی زبان‌های برنامه‌نویسی استفاده می‌کنند.

۴. روش‌شناسی تحقیق

روش‌شناسی این تحقیق بر پایه مفهوم پروبینگ (Probing) استوار است، اما با یک نوآوری کلیدی: به جای پیش‌بینی ویژگی‌های نحوی جزئی، هدف بازیابی کامل درخت نحوی انتزاعی (AST) است. این رویکرد نیازمند طراحی دقیق‌تری از پروب و معیارهای ارزیابی است.

الف. چارچوب AST-Probe:

AST-Probe یک چارچوب سه مرحله‌ای را دنبال می‌کند:

• استخراج نمایش‌های پنهان: برای هر قطعه کد ورودی، نمایش‌های پنهان (hidden representations) از هر لایه مدل زبانی از پیش آموزش‌دیده استخراج می‌شود. این نمایش‌ها به صورت بردارهایی هستند که اطلاعات کد را در خود فشرده کرده‌اند.
• طراحی پروب برای بازیابی AST: به جای آموزش یک طبقه‌بند واحد برای کل AST، AST-Probe به چندین پروب ساده‌تر تقسیم می‌شود که هر یک وظیفه بازیابی یک جزء خاص از AST را دارند. به عنوان مثال:
  • پروب نوع گره (Node Type Probe): یک طبقه‌بند خطی آموزش می‌بیند تا نوع گره AST را (مثلاً ‘IfStatement’, ‘VariableDeclarator’, ‘BinaryExpression’) از بردار نمایش پنهان متناظر با توکن مربوطه در کد پیش‌بینی کند.
  • پروب رابطه والد-فرزندی (Parent-Child Relation Probe): این پروب بررسی می‌کند که آیا نمایش‌های پنهان توکن‌های مختلف، اطلاعات کافی برای بازسازی روابط سلسله‌مراتبی (مانند کدام توکن فرزند کدام توکن است) را در خود دارند. این می‌تواند با آموزش طبقه‌بندهایی برای پیش‌بینی اینکه یک توکن خاص، والد یا فرزند توکن دیگری است، انجام شود.
  • پروب ترتیب خواهر-برادری (Sibling Order Probe): برای بازسازی کامل AST، ترتیب گره‌های خواهر-برادر نیز اهمیت دارد. پروب‌هایی برای تشخیص ترتیب نسبی توکن‌ها در یک سطح از AST طراحی می‌شوند.
• بازسازی و ارزیابی AST: پس از آموزش پروب‌ها، از خروجی آن‌ها برای بازسازی کامل AST استفاده می‌شود. سپس AST بازیابی شده با AST واقعی قطعه کد مقایسه می‌شود. معیارهای ارزیابی شامل دقت بازسازی انواع گره‌ها، دقت روابط سلسله‌مراتبی و حتی شباهت توپولوژیکی بین ASTهای بازیابی شده و واقعی است.

ب. مجموعه داده‌ها و مدل‌ها:

این مطالعه از مجموعه‌های داده‌ای شامل کدهای برنامه‌نویسی استفاده می‌کند که از ریپازیتوری‌های گیت‌هاب استخراج شده‌اند تا تنوع و واقع‌گرایی داده‌ها تضمین شود. زبان‌های برنامه‌نویسی مختلفی ممکن است در نظر گرفته شده باشند تا جامعیت روش اثبات شود (اگرچه در چکیده نام زبان خاصی ذکر نشده است). نویسندگان آزمایش‌های خود را بر روی پنج مدل زبانی از پیش آموزش‌دیده پیشرفته انجام داده‌اند. این مدل‌ها به احتمال زیاد شامل مدل‌هایی هستند که برای کد طراحی شده‌اند (مانند CodeBERT, GraphCodeBERT, CodeT5) و همچنین ممکن است مدل‌های عمومی‌تر (مانند BERT یا RoBERTa) که بر روی کد fine-tuned شده‌اند، باشند.

ج. تخمین ابعاد زیرفضای نحوی:

یکی از جنبه‌های نوآورانه روش‌شناسی، تخمین ابعاد بهینه زیرفضای نحوی است. این کار با استفاده از تکنیک‌هایی مانند کاهش ابعاد (مانند PCA) یا با محدود کردن ظرفیت پروب‌ها (مثلاً استفاده از پروب‌هایی با لایه‌های پنهان باریک‌تر) انجام می‌شود. هدف این است که حداقل ابعادی که برای کدگذاری اطلاعات AST کافی است، شناسایی شود. این نشان می‌دهد که مدل‌ها چقدر “فشرده” اطلاعات نحوی را ذخیره می‌کنند.

به طور خلاصه، روش‌شناسی AST-Probe یک رویکرد سیستماتیک و چندوجهی را برای آشکارسازی و استخراج ساختار گرامری کامل کد از نمایش‌های پنهان PLMها ارائه می‌دهد که از روش‌های پروبینگ سنتی فراتر می‌رود.

۵. یافته‌های کلیدی

تحقیق AST-Probe به چندین یافته مهم و تأمل‌برانگیز دست یافته است که درک ما از قابلیت‌های مدل‌های زبانی از پیش آموزش‌دیده (PLMs) در زمینه کد را عمیق‌تر می‌کند:

1. وجود زیرفضای نحوی: مهمترین یافته این است که یک زیرفضای مشخص و قابل استخراج در نمایش‌های پنهان PLMها وجود دارد که به طور کامل اطلاعات نحوی زبان برنامه‌نویسی را در خود جای داده است. این یافته به صورت تجربی در تمامی پنج مدل زبانی از پیش آموزش‌دیده مورد آزمایش تأیید شده است. این بدان معناست که PLMها نه تنها روابط کلمه‌ای یا عبارتی را یاد می‌گیرند، بلکه ساختار گرامری سلسله‌مراتبی کد را نیز درونی‌سازی کرده‌اند.

   مثال عملی: اگر مدل یک خط کد مانند if (x > 0) { y = 1; } را پردازش کند، نمایش‌های پنهان آن حاوی اطلاعاتی در مورد اینکه if یک گره شرطی، x > 0 یک گره عبارت بولی و y = 1 یک گره تخصیص است، می‌باشد. همچنین روابط والد-فرزندی بین این گره‌ها (مثلاً عبارت بولی فرزند گره شرطی است) نیز در این نمایش‌ها کدگذاری شده است.

2. موقعیت اطلاعات AST در لایه‌ها: نتایج به وضوح نشان می‌دهند که لایه‌های میانی مدل‌های زبانی بیشترین اطلاعات مربوط به AST را کدگذاری می‌کنند. این یافته با شهود ما از نحوه عملکرد شبکه‌های عصبی عمیق همخوانی دارد:

   • لایه‌های اولیه: معمولاً ویژگی‌های سطح پایین‌تر و لغوی (lexical) را پردازش می‌کنند، مانند توکن‌های فردی و روابط نزدیک بین آن‌ها.
   • لایه‌های میانی: ساختارهای پیچیده‌تر و نحوی را درک می‌کنند، که برای تشکیل AST ضروری است. این لایه‌ها درک عمیق‌تری از ترتیب کلمات، وابستگی‌های گرامری و ساختار جمله به دست می‌آورند.
   • لایه‌های پایانی: بیشتر بر روی معناشناسی و مفاهیم انتزاعی‌تر تمرکز دارند و ممکن است برخی از جزئیات نحوی را فیلتر یا تجمیع کنند.

3. ابعاد بهینه زیرفضای نحوی: یکی دیگر از یافته‌های کلیدی این است که ابعاد بهینه این زیرفضای نحوی به طور قابل توجهی کمتر از ابعاد فضاهای نمایشی کامل خود مدل‌ها است. این موضوع پیامدهای مهمی دارد:

   • کارایی (Efficiency): نشان می‌دهد که PLMها برای کدگذاری اطلاعات نحوی به تمام ظرفیت نمایشی خود نیاز ندارند. این اطلاعات به صورت فشرده و کارآمد ذخیره می‌شوند.
   • فشرده‌سازی اطلاعات: مدل‌ها می‌توانند اطلاعات ساختاری پیچیده را در یک زیرفضای نسبتاً کوچک فشرده کنند، که ممکن است به معنای این باشد که بخش عمده‌ای از فضای نمایش برای وظایف دیگر (مانند معناشناسی یا اطلاعات زمینه‌ای) استفاده می‌شود.
   • پتانسیل برای مدل‌های تخصصی: این یافته مسیر را برای طراحی مدل‌های سبک‌تر و کارآمدتر که بر استخراج و استفاده از این زیرفضای نحوی متمرکز هستند، باز می‌کند.

4. قابلیت بازیابی کامل AST: روش AST-Probe نشان می‌دهد که نه تنها می‌توانیم بخش‌هایی از AST را استخراج کنیم، بلکه می‌توانیم کل درخت نحوی انتزاعی را با دقت قابل قبولی از نمایش‌های پنهان مدل بازیابی کنیم. این یک دستاورد بزرگ در زمینه تفسیرپذیری و درک PLMها است.

به طور خلاصه، این یافته‌ها به ما می‌گویند که PLMها نه تنها “زبان” را درک می‌کنند، بلکه “دستور زبان” (گرامر) آن را نیز به خوبی می‌شناسند و این دانش را در بخش خاصی از مغز مجازی خود (لایه‌های میانی و زیرفضای کوچک‌تر) ذخیره کرده‌اند.

۶. کاربردها و دستاوردها

دستاوردها و یافته‌های مقاله AST-Probe پیامدهای عمیقی برای حوزه هوش مصنوعی، به ویژه در کاربردهای مربوط به تحلیل و تولید کد، دارد. این نتایج تنها یک گام نظری نیستند، بلکه مسیرهای عملی جدیدی را باز می‌کنند:

۱. افزایش تفسیرپذیری مدل‌ها (Model Interpretability):

یکی از بزرگترین چالش‌ها در مدل‌های یادگیری عمیق، درک “چرا” و “چگونه” آن‌ها تصمیم‌گیری می‌کنند. AST-Probe با اثبات وجود و قابلیت استخراج اطلاعات AST، گامی بلند در این راستا برمی‌دارد. اکنون می‌توانیم با اطمینان بیشتری بگوییم که وقتی یک PLM کدی را پردازش می‌کند، درک ساختاری عمیقی از آن دارد. این به ما کمک می‌کند تا:

• اعتمادپذیری: به مدل‌ها بیشتر اعتماد کنیم، زیرا می‌دانیم که آنها فقط الگوهای سطحی را نمی‌بینند.
• عیب‌یابی: بهتر بفهمیم که چرا مدل در برخی موارد خاص اشتباه می‌کند، شاید به دلیل عدم درک صحیح ساختار نحوی.

۲. بهبود طراحی و معماری مدل‌های آینده:

دانستن اینکه لایه‌های میانی مدل بیشترین اطلاعات AST را کدگذاری می‌کنند و اینکه این اطلاعات در یک زیرفضای کم‌بعد قرار دارند، می‌تواند راهنمای مهندسان برای طراحی مدل‌های جدید باشد:

• مدل‌های کارآمدتر: می‌توان مدل‌هایی ساخت که به طور خاص این زیرفضای نحوی را هدف قرار دهند و از لحاظ محاسباتی بهینه‌تر باشند.
• افزودن صریح دانش نحوی: می‌توان معماری‌هایی را طراحی کرد که آگاهانه از اطلاعات AST در لایه‌های میانی استفاده کنند یا آن‌ها را تقویت کنند، به جای اینکه فقط به مدل اجازه دهیم به صورت ضمنی آن‌ها را یاد بگیرد. این می‌تواند منجر به مدل‌های قوی‌تر و با قابلیت generalization بهتر شود.

۳. کاربردهای مهندسی نرم‌افزار:

درک عمیق PLMها از ASTها می‌تواند به طور مستقیم در ابزارهای مهندسی نرم‌افزار مفید باشد:

• تولید کد هوشمندتر: مدل‌های تولید کد می‌توانند کدی را با ساختار نحوی صحیح‌تر و منطقی‌تر تولید کنند.
• تکمیل کد (Code Completion): با درک AST در حال ساخت، ابزارهای تکمیل کد می‌توانند پیشنهادات دقیق‌تر و مرتبط‌تری ارائه دهند که از نظر گرامری صحیح باشند.
• رفع اشکال و تحلیل ثابت (Static Analysis): مدل‌ها می‌توانند با دقت بیشتری اشکالات نحوی و حتی معنایی را در کد تشخیص دهند. به عنوان مثال، اگر یک مدل متوجه شود که یک بخش از کد از نظر AST غیرعادی است، می‌تواند یک اخطار (warning) صادر کند.
• بازآرایی کد (Refactoring): ابزارهای بازآرایی کد می‌توانند با استفاده از درک مدل از ساختار AST، تغییرات ساختاری را به طور ایمن و کارآمد اعمال کنند.

۴. توسعه متدولوژی‌های پروبینگ جدید:

AST-Probe به عنوان یک روش جدید، الهام‌بخش تحقیقات آتی در زمینه پروبینگ است. این متدولوژی می‌تواند برای بررسی سایر ویژگی‌های ساختاری یا معنایی پیچیده در مدل‌ها نیز مورد استفاده قرار گیرد، نه فقط محدود به ASTها. به عنوان مثال، می‌توان از رویکردهای مشابه برای بررسی درک مدل از گراف‌های جریان کنترل (Control Flow Graphs) یا گراف‌های جریان داده (Data Flow Graphs) استفاده کرد.

۵. بهینه‌سازی منابع محاسباتی:

با توجه به اینکه اطلاعات نحوی در یک زیرفضای کم‌بعد قرار دارد، می‌توان به دنبال روش‌هایی برای استخراج یا تقطیر (distillation) این اطلاعات به مدل‌های کوچک‌تر و سبک‌تر بود که نیازمند منابع محاسباتی کمتری هستند. این امر برای استقرار مدل‌ها در محیط‌های با منابع محدود بسیار مفید است.

در مجموع، مقاله AST-Probe نه تنها یک دستاورد علمی مهم است، بلکه پتانسیل زیادی برای تحول در نحوه تعامل ما با مدل‌های هوش مصنوعی در حوزه مهندسی نرم‌افزار و فهم عمیق‌تر قابلیت‌های آن‌ها دارد.

۷. نتیجه‌گیری

تحقیق “AST-Probe: بازیافت درخت نحوی انتزاعی از نمایش‌های پنهان مدل‌های زبانی از پیش آموزش‌دیده” گام مهمی در روشن‌سازی عمق درک مدل‌های زبانی از ساختار کدهای برنامه‌نویسی برداشته است. این مقاله به طور قطعی اثبات می‌کند که مدل‌های زبانی از پیش آموزش‌دیده (PLMs)، علاوه بر درک روابط کلمه‌ای و معنایی، ساختار گرامری کامل یک زبان برنامه‌نویسی را در قالب درخت‌های نحوی انتزاعی (ASTs) در نمایش‌های پنهان خود کدگذاری می‌کنند.

با معرفی روش پروبینگ نوآورانه AST-Probe، نویسندگان نشان داده‌اند که این اطلاعات نحوی نه تنها وجود دارند، بلکه قابل استخراج و بازسازی کامل هستند. یافته‌های کلیدی این تحقیق، شامل وجود یک زیرفضای نحوی در نمایش‌های پنهان مدل‌ها، تمرکز بیشترین اطلاعات AST در لایه‌های میانی و ابعاد به مراتب کمتر این زیرفضا نسبت به کل فضای نمایش، بینش‌های عمیقی درباره نحوه کارکرد داخلی و کارایی PLMها ارائه می‌دهد.

پیامدهای این تحقیق گسترده و حائز اهمیت است. از یک سو، به افزایش تفسیرپذیری مدل‌ها کمک می‌کند و به ما امکان می‌دهد با اطمینان بیشتری به درک آن‌ها از کد اعتماد کنیم. از سوی دیگر، این یافته‌ها مسیر را برای طراحی مدل‌های کارآمدتر و قوی‌تر در آینده هموار می‌کنند که می‌توانند به طور صریح از دانش نحوی برای انجام وظایف مهندسی نرم‌افزار (مانند تولید، تکمیل، رفع اشکال و بازآرایی کد) بهره‌برداری کنند.

در نهایت، AST-Probe نه تنها یک دستاورد تحقیقاتی برجسته است، بلکه ابزاری قدرتمند برای کاوش عمیق‌تر در قابلیت‌های پنهان مدل‌های هوش مصنوعی و گامی اساسی به سوی توسعه ابزارهای کد هوشمند و سیستم‌های هوش مصنوعی قابل اعتمادتر در حوزه برنامه‌نویسی محسوب می‌شود. این تحقیق ما را به آینده‌ای نزدیک‌تر می‌کند که در آن ماشین‌ها نه تنها می‌توانند کد را بخوانند و بنویسند، بلکه ساختار و منطق آن را نیز به درستی درک می‌کنند.