مقاله طبیعی بودن توجه: توجه مجدد در مدل های زبان کد

چکیده

Language models for code such as CodeBERT offer the capability to learn advanced source code representation, but their opacity poses barriers to understanding of captured properties. Recent attention analysis studies provide initial interpretability insights by focusing solely on attention weights rather than considering the wider context modeling of Transformers. This study aims to shed some light on the previously ignored factors of the attention mechanism beyond the attention weights. We conduct an initial empirical study analyzing both attention distributions and transformed representations in CodeBERT. Across two programming languages, Java and Python, we find that the scaled transformation norms of the input better capture syntactic structure compared to attention weights alone. Our analysis reveals characterization of how CodeBERT embeds syntactic code properties. The findings demonstrate the importance of incorporating factors beyond just attention weights for rigorously understanding neural code models. This lays the groundwork for developing more interpretable models and effective uses of attention mechanisms in program analysis.

چکیده به فارسی (ترجمه ماشینی)

مدل های زبانی برای کدهایی مانند CodeBert توانایی یادگیری بازنمایی کد منبع پیشرفته را ارائه می دهند ، اما کدورت آنها موانعی را برای درک خصوصیات ضبط شده ایجاد می کند.مطالعات تجزیه و تحلیل توجه اخیر بینش های تفسیر اولیه را با تمرکز صرفاً بر وزن توجه به جای در نظر گرفتن مدل سازی متن گسترده تر از ترانسفورماتورها ، ارائه می دهد.این مطالعه با هدف ریختن برخی از عوامل قبلاً نادیده گرفته شده از مکانیسم توجه فراتر از وزن توجه است.ما یک مطالعه تجربی اولیه را انجام می دهیم که هر دو توزیع توجه را مورد تجزیه و تحلیل قرار می دهد و بازنمایی های تبدیل شده در کدبرت.در دو زبان برنامه نویسی ، جاوا و پایتون ، می فهمیم که هنجارهای تحول مقیاس یافته از ساختار نحوی بهتر ضبط در مقایسه با وزن توجه به تنهایی.تجزیه و تحلیل ما توصیف کننده چگونگی تعبیه کدبرت خصوصیات کد نحوی است.این یافته ها نشان دهنده اهمیت ترکیب عوامل فراتر از وزن فقط توجه برای درک دقیق مدل های کد عصبی است.این امر زمینه ای برای توسعه مدلهای قابل تفسیر و استفاده مؤثر از مکانیسم های توجه در تجزیه و تحلیل برنامه است.