۱. معرفی مقاله و اهمیت آن

در دنیای کنونی که نرم‌افزار نقش محوری در تمامی جنبه‌های زندگی ایفا می‌کند، توسعه ابزارهای هوشمند برای درک، تحلیل و تولید کد، امری حیاتی است. مدل‌های زبانی بزرگ (PLMs) که ابتدا برای پردازش زبان طبیعی (NLP) توسعه یافتند، با موفقیت چشمگیری به حوزه مهندسی نرم‌افزار نیز راه یافته‌اند. این مدل‌ها، به‌ویژه آن‌هایی که بر پایه معماری ترنسفورمر (Transformer) بنا شده‌اند، در وظایفی چون خلاصه‌سازی کد، تشخیص باگ و پیش‌بینی خطا، نتایج درخشانی از خود نشان داده‌اند. با این حال، تمرکز اصلی این مدل‌ها بر زبان‌های طبیعی بوده و انتقال دانش و منطق از این حوزه به زبان‌های برنامه‌نویسی، بدون در نظر گرفتن تفاوت‌های بنیادین، چالش‌برانگیز است.

مقاله حاضر با عنوان “An Exploratory Study on Code Attention in BERT” (مطالعه‌ای اکتشافی بر توجه کدی در بِرت)، به بررسی عمیق‌تر این موضوع می‌پردازد. نویسندگان با هدف درک بهتر چگونگی مدل‌سازی کد توسط مدل‌های پیش‌آموزش‌دیده، به تحلیل سازوکار “توجه” (Attention) در مدل BERT هنگام پردازش کد پرداخته‌اند. این مطالعه نه تنها به دنبال کشف چگونگی یادگیری اطلاعات معنایی و نحوی توسط این مدل‌هاست، بلکه مسیری نوین برای بهبود عملکرد آن‌ها و توسعه مدل‌های بهینه‌تر و سبک‌تر برای وظایف مرتبط با کد را ترسیم می‌کند.

۲. نویسندگان و زمینه تحقیق

این پژوهش توسط تیمی از محققان برجسته در حوزه مهندسی نرم‌افزار و هوش مصنوعی، شامل Rishab Sharma, Fuxiang Chen, Fatemeh Fard, و David Lo، انجام شده است. زمینه تحقیقاتی این مقاله در تلاقی سه حوزه مهم قرار دارد:

• مهندسی نرم‌افزار (Software Engineering): تمرکز بر روش‌ها و ابزارهای بهبود کیفیت، بهره‌وری و درک نرم‌افزار.
• هوش مصنوعی (Artificial Intelligence): استفاده از الگوریتم‌ها و مدل‌های یادگیری ماشینی، به‌ویژه شبکه‌های عصبی عمیق، برای حل مسائل پیچیده.
• محاسبات و زبان (Computation and Language) / زبان‌های برنامه‌نویسی (Programming Languages): بررسی ارتباط بین ساختار و معنا در زبان‌های طبیعی و زبان‌های برنامه‌نویسی و کاربرد مدل‌های زبانی در این زمینه.

نویسندگان با بهره‌گیری از تجربیات گسترده خود در این حوزه‌ها، به دنبال پل زدن میان شکاف موجود بین پردازش زبان طبیعی و مهندسی نرم‌افزار با استفاده از مدل‌های یادگیری عمیق هستند.

۳. چکیده و خلاصه محتوا

چکیده مقاله به خوبی نمایانگر اهداف و یافته‌های اصلی پژوهش است. در ادامه، خلاصه‌ای جامع از محتوای آن ارائه می‌شود:

چکیده: مدل‌های یادگیری عمیق مبتنی بر ترنسفورمر و مدل‌های زبانی پیش‌آموزش‌دیده (PLMs) که بر روی کد آموزش دیده‌اند، در حال حاضر در بسیاری از وظایف مهندسی نرم‌افزار مانند خلاصه‌سازی کد و تشخیص باگ، نتایج پیشرفته‌ای را کسب کرده‌اند. با این حال، این مدل‌ها عمدتاً بر اساس معماری ترنسفورمر و PLMs هستند که غالباً در حوزه پردازش زبان طبیعی (NLP) مورد مطالعه قرار گرفته‌اند. مطالعات فعلی، استدلال‌ها و شیوه‌های NLP را برای این مدل‌ها در کد به کار می‌گیرند، علی‌رغم تفاوت‌های بین زبان‌های طبیعی و زبان‌های برنامه‌نویسی. همچنین، ادبیات محدودی در خصوص چگونگی مدل‌سازی کد توسط این شبکه‌ها وجود دارد. در این پژوهش، ما رفتار توجه (Attention) مدل‌های PLM را بر روی کد مورد بررسی قرار داده و آن را با زبان طبیعی مقایسه می‌کنیم. ما مدل BERT را که بر پایه ترنسفورمر است، بر روی کد پیش‌آموزش دادیم و کاوش کردیم که چه نوع اطلاعاتی، چه معنایی و چه نحوی، را یاد می‌گیرد. ما چندین آزمایش برای تحلیل مقادیر توجه سازه‌های کد به یکدیگر و آنچه BERT در هر لایه یاد می‌گیرد، اجرا کردیم. تحلیل‌های ما نشان می‌دهد که BERT، برخلاف توکن [CLS] که بیشترین توجه را در NLP دریافت می‌کند، به موجودیت‌های نحوی، به‌ویژه شناسه‌ها (Identifiers) و جداکننده‌ها (Separators)، توجه بیشتری دارد. این مشاهده ما را بر آن داشت تا از شناسه‌ها برای نمایش دنباله کد به جای توکن [CLS]، هنگام استفاده در تشخیص کلون کد (Code Clone Detection)، بهره ببریم. نتایج ما نشان می‌دهد که استفاده از امبدینگ‌های (Embeddings) شناسه‌ها، عملکرد BERT را در لایه‌های پایینی و بالایی به ترتیب 605% و 4% از نظر امتیاز F1 افزایش می‌دهد. هنگامی که امبدینگ‌های شناسه‌ها در CodeBERT، که یک PLM مختص کد است، استفاده می‌شوند، عملکرد در تشخیص کلون کد 21-24% از نظر امتیاز F1 بهبود می‌یابد. یافته‌های این پژوهش می‌تواند با استفاده از نمایش‌های خاص کد به جای امبدینگ‌های رایج NLP، جامعه تحقیقاتی را بهره‌مند سازد و جهت‌گیری‌های جدیدی را برای توسعه مدل‌های کوچک‌تر با عملکرد مشابه باز کند.

۴. روش‌شناسی تحقیق

نویسندگان برای دستیابی به اهداف خود، رویکردی نظام‌مند را در پیش گرفتند که شامل مراحل زیر بود:

• پیش‌آموزش BERT بر روی کد: در ابتدا، مدل BERT، که یک مدل ترنسفورمر قدرتمند است، بر روی مجموعه داده‌های وسیعی از کد برنامه‌نویسی (مانند GitHub) پیش‌آموزش داده شد. این مرحله به BERT اجازه می‌دهد تا با ساختار، نحو و تا حدودی معنای زبان‌های برنامه‌نویسی آشنا شود.
• تحلیل مکانیزم توجه: پس از پیش‌آموزش، تمرکز اصلی بر روی مکانیزم توجه در لایه‌های مختلف BERT قرار گرفت. این مکانیزم تعیین می‌کند که هنگام پردازش یک توکن (کلمه یا جزء کد)، مدل به کدام قسمت‌های دیگر ورودی توجه بیشتری نشان می‌دهد. محققان مقادیر توجه را برای ساختارهای مختلف کد، مانند شناسه‌ها (متغیرها، توابع، کلاس‌ها)، عملگرها، کلمات کلیدی و علائم نگارشی، اندازه‌گیری و تحلیل کردند.
• مقایسه با زبان طبیعی: برای درک بهتر رفتار BERT در زمینه کد، یافته‌های مربوط به توجه در کد با الگوهای توجه مشاهده شده در پردازش زبان طبیعی مقایسه شد. این مقایسه به برجسته کردن تفاوت‌ها و شباهت‌های احتمالی کمک کرد.
• آزمایش برای وظیفه خاص (تشخیص کلون کد): برای ارزیابی عملی یافته‌های خود، محققان از نتایج تحلیل توجه برای بهبود عملکرد BERT در یک وظیفه خاص مهندسی نرم‌افزار، یعنی تشخیص کلون کد (Code Clone Detection)، استفاده کردند. کلون کد به قطعات کد مشابه یا تکراری گفته می‌شود که تشخیص آن‌ها برای بازسازی کد، رفع اشکال و جلوگیری از افزونگی اهمیت دارد.
• بهره‌گیری از شناسه‌ها: بر اساس یافته‌های مبنی بر اهمیت شناسه‌ها در توجه مدل، نویسندگان رویکردی را برای نمایش دنباله کد پیشنهاد دادند. به جای استفاده از توکن ویژه‌ای مانند [CLS] که در NLP رایج است، از امبدینگ‌های شناسه‌ها برای نمایش کلی قطعه کد استفاده شد. این امبدینگ‌ها، که بازنمایی‌های بردای از معنا و نقش شناسه‌ها هستند، به مدل کمک می‌کنند تا اطلاعات مهم‌تری را دریافت کند.
• ارزیابی عملکرد: عملکرد مدل BERT و همچنین CodeBERT (یک PLM مخصوص کد که توسط نویسندگان توسعه داده شده یا از آن استفاده شده) با رویکرد جدید (استفاده از امبدینگ شناسه‌ها) و رویکرد سنتی (استفاده از [CLS]) با معیارهای استاندارد مانند F1-score ارزیابی شد.

این روش‌شناسی ترکیبی از تحلیل‌های کیفی (بررسی الگوهای توجه) و کمی (ارزیابی عملکرد در وظایف عملی) است که به عمق درک چگونگی پردازش کد توسط مدل‌های زبانی کمک می‌کند.

۵. یافته‌های کلیدی

این مطالعه اکتشافی، نتایج قابل توجه و نوآورانه‌ای را به همراه داشته است:

• تمرکز بر شناسه‌ها و جداکننده‌ها: یکی از مهم‌ترین یافته‌ها این است که BERT هنگام پردازش کد، برخلاف زبان طبیعی که معمولاً به توکن [CLS] (نماد شروع جمله) بیشترین توجه را دارد، به طور قابل توجهی به شناسه‌ها (Identifiers) و جداکننده‌ها (Separators) توجه بیشتری نشان می‌دهد. شناسه‌ها شامل نام متغیرها، توابع، کلاس‌ها و سایر موجودیت‌های نام‌گذاری شده در کد هستند و نقش حیاتی در درک معنای آن ایفا می‌کنند. جداکننده‌ها نیز مانند پرانتزها، کروشه‌ها و کاماها، ساختار نحوی کد را تعریف می‌کنند.
• یادگیری اطلاعات نحوی و معنایی: تحلیل‌ها نشان داد که لایه‌های مختلف BERT، انواع متفاوتی از اطلاعات را از کد استخراج می‌کنند. لایه‌های پایین‌تر بیشتر بر ساختارهای نحوی و روابط بین توکن‌ها تمرکز دارند، در حالی که لایه‌های بالاتر به سمت درک جنبه‌های معنایی و انتزاعی‌تر کد حرکت می‌کنند. اما حتی در لایه‌های بالاتر، شناسه‌ها همچنان نقش کلیدی در جهت‌دهی توجه ایفا می‌کنند.
• تفاوت با زبان طبیعی: نتایج به وضوح تفاوت بین نحوه پردازش زبان طبیعی و کد توسط BERT را نشان می‌دهد. در زبان طبیعی، کلمات کلیدی و توکن‌های خاصی مانند [CLS] اهمیت زیادی دارند، در حالی که در کد، عناصر نام‌گذاری شده (شناسه‌ها) و نشانگرهای ساختاری (جداکننده‌ها) وزن بیشتری در مکانیزم توجه مدل پیدا می‌کنند. این نشان می‌دهد که مدل‌هایی که برای کد طراحی یا تنظیم می‌شوند، باید این تفاوت‌ها را در نظر بگیرند.
• تاثیر مثبت استفاده از امبدینگ شناسه‌ها: مهم‌ترین دستاورد عملی این پژوهش، اثبات اثربخشی استفاده از امبدینگ‌های شناسه‌ها به عنوان نمایش اولیه کد است. هنگامی که به جای توکن [CLS]، از امبدینگ‌های استخراج شده از شناسه‌ها برای نمایش کل دنباله کد استفاده شد:
  • عملکرد BERT در تشخیص کلون کد در لایه‌های پایین‌تر تا 605% و در لایه‌های بالاتر تا 4% از نظر امتیاز F1 بهبود یافت. این افزایش چشمگیر در لایه‌های پایین‌تر نشان‌دهنده نقش اساسی شناسه‌ها در درک اولیه ساختار و معنای کد است.
  • عملکرد CodeBERT (مدل پیشرفته‌تر و اختصاصی‌تر برای کد) نیز در تشخیص کلون کد بین 21% تا 24% از نظر امتیاز F1 بهبود نشان داد. این بهبود، اگرچه به اندازه BERT چشمگیر نبود، اما همچنان قابل توجه است و نشان می‌دهد که حتی مدل‌های پیشرفته‌تر نیز می‌توانند از نمایش‌های کد-محور بهره‌مند شوند.

این یافته‌ها پیامدهای مهمی برای نحوه طراحی و آموزش مدل‌های هوش مصنوعی برای کد دارند.

۶. کاربردها و دستاوردها

یافته‌های این مقاله دریچه‌های جدیدی را به روی تحقیقات و توسعه در حوزه هوش مصنوعی برای نرم‌افزار باز می‌کند:

• طراحی مدل‌های کارآمدتر: درک بهتر از اینکه مدل‌ها چگونه کد را پردازش می‌کنند، به محققان اجازه می‌دهد تا مدل‌هایی طراحی کنند که از ابتدا بر روی جنبه‌های مهم کد، مانند شناسه‌ها، تمرکز بیشتری داشته باشند. این می‌تواند منجر به توسعه مدل‌های کوچک‌تر و سریع‌تر شود که هم‌زمان عملکرد بالایی دارند.
• بهبود وظایف مهندسی نرم‌افزار: کاربرد مستقیم یافته‌ها در وظایفی مانند تشخیص کلون کد، خودکارسازی بازبینی کد، تولید کد، و تشخیص خطا، می‌تواند به طور قابل توجهی کیفیت و سرعت توسعه نرم‌افزار را افزایش دهد. برای مثال، با استفاده از شناسه‌ها به عنوان نمایش کلیدی، مدل‌ها می‌توانند شباهت‌های معنایی بین قطعات کد را که ممکن است از نظر نحوی کمی متفاوت باشند، بهتر تشخیص دهند.
• استانداردسازی رویکردها: این تحقیق پیشنهاد می‌کند که رویکردهای رایج در NLP ممکن است برای کد بهینه نباشند. بنابراین، جامعه تحقیقاتی را تشویق می‌کند تا نمایش‌ها و روش‌های مبتنی بر ویژگی‌های خاص زبان‌های برنامه‌نویسی را توسعه داده و به کار گیرند.
• مفاهیم برای مدل‌های ترنسفورمر: نتایج این مطالعه صرفاً محدود به BERT نیست و می‌تواند به سایر مدل‌های مبتنی بر ترنسفورمر نیز تعمیم داده شود. این امر به جامعه AI برای درک عمیق‌تر رفتار مکانیسم توجه در کاربردهای مختلف کمک می‌کند.
• ایجاد زمینه برای تحقیقات آینده: این مقاله راه را برای تحقیقات بیشتر در زمینه “توجه کد-محور” (Code-centric Attention)، تجزیه و تحلیل خودکارسازی کد، و توسعه ابزارهای هوشمندتر برای برنامه‌نویسان هموار می‌سازد.

۷. نتیجه‌گیری

مطالعه “An Exploratory Study on Code Attention in BERT” گامی مهم در جهت درک عمیق‌تر نحوه پردازش کد توسط مدل‌های زبانی پیش‌آموزش‌دیده (PLMs) است. نویسندگان با تحلیل دقیق مکانیزم توجه در مدل BERT بر روی کد، دریافتند که این مدل برخلاف زبان طبیعی، توجه قابل توجهی به عناصر ساختاری و معنایی کلیدی کد، به‌ویژه شناسه‌ها و جداکننده‌ها، نشان می‌دهد. این مشاهده، الهام‌بخش یک رویکرد نوآورانه برای نمایش دنباله کد شد: استفاده از امبدینگ‌های شناسه‌ها به جای توکن‌های عمومی مانند [CLS].

نتایج تجربی حاصل از این رویکرد، حاکی از بهبود چشمگیر عملکرد در وظایف مهندسی نرم‌افزار، به ویژه در تشخیص کلون کد، برای مدل‌های BERT و CodeBERT بود. این یافته‌ها نه تنها بر اهمیت نمایش‌های کد-محور تاکید دارند، بلکه نشان می‌دهند که چگونه می‌توان با درک بهتر سازوکارهای داخلی مدل‌های AI، آن‌ها را برای وظایف تخصصی بهینه‌سازی کرد. این پژوهش، جامعه تحقیقاتی را به سمت توسعه مدل‌هایی سوق می‌دهد که با در نظر گرفتن ویژگی‌های منحصر به فرد زبان‌های برنامه‌نویسی، کارآمدتر و مؤثرتر عمل کنند و زمینه‌ساز نوآوری‌های آتی در حوزه هوش مصنوعی برای مهندسی نرم‌افزار باشد.