MAPress
مقاله طبیعی بودن توجه: توجه مجدد در مدل های زبان کد

مقاله طبیعی بودن توجه: توجه مجدد در مدل های زبان کد

تگ‌ها: Machine Learning Software Engineering مهندسی نرم افزار یادگیری ماشین

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Naturalness of Attention: Revisiting Attention in Code Language Models
عنوان مقاله به فارسی مقاله طبیعی بودن توجه: تجدید نظر در مدلهای زبان کد
نویسندگان Mootez Saad, Tushar Sharma
زبان مقاله انگلیسی
فرمت مقاله: PDF
تعداد صفحات 0
دسته بندی موضوعات Software Engineering,Machine Learning,مهندسی نرم افزار , یادگیری ماشین ,
توضیحات Submitted 22 November, 2023; originally announced November 2023. , Comments: Accepted at ICSE-NIER (2024) track
توضیحات به فارسی ارسال شده 22 نوامبر 2023 ؛در ابتدا نوامبر 2023 اعلام شد. ، نظرات: در مسیر ICSE-NIER (2024) پذیرفته شده است

چکیده

Language models for code such as CodeBERT offer the capability to learn advanced source code representation, but their opacity poses barriers to understanding of captured properties. Recent attention analysis studies provide initial interpretability insights by focusing solely on attention weights rather than considering the wider context modeling of Transformers. This study aims to shed some light on the previously ignored factors of the attention mechanism beyond the attention weights. We conduct an initial empirical study analyzing both attention distributions and transformed representations in CodeBERT. Across two programming languages, Java and Python, we find that the scaled transformation norms of the input better capture syntactic structure compared to attention weights alone. Our analysis reveals characterization of how CodeBERT embeds syntactic code properties. The findings demonstrate the importance of incorporating factors beyond just attention weights for rigorously understanding neural code models. This lays the groundwork for developing more interpretable models and effective uses of attention mechanisms in program analysis.

چکیده به فارسی (ترجمه ماشینی)

مدل های زبانی برای کدهایی مانند CodeBert توانایی یادگیری بازنمایی کد منبع پیشرفته را ارائه می دهند ، اما کدورت آنها موانعی را برای درک خصوصیات ضبط شده ایجاد می کند.مطالعات تجزیه و تحلیل توجه اخیر بینش های تفسیر اولیه را با تمرکز صرفاً بر وزن توجه به جای در نظر گرفتن مدل سازی متن گسترده تر از ترانسفورماتورها ، ارائه می دهد.این مطالعه با هدف ریختن برخی از عوامل قبلاً نادیده گرفته شده از مکانیسم توجه فراتر از وزن توجه است.ما یک مطالعه تجربی اولیه را انجام می دهیم که هر دو توزیع توجه را مورد تجزیه و تحلیل قرار می دهد و بازنمایی های تبدیل شده در کدبرت.در دو زبان برنامه نویسی ، جاوا و پایتون ، می فهمیم که هنجارهای تحول مقیاس یافته از ساختار نحوی بهتر ضبط در مقایسه با وزن توجه به تنهایی.تجزیه و تحلیل ما توصیف کننده چگونگی تعبیه کدبرت خصوصیات کد نحوی است.این یافته ها نشان دهنده اهمیت ترکیب عوامل فراتر از وزن فقط توجه برای درک دقیق مدل های کد عصبی است.این امر زمینه ای برای توسعه مدلهای قابل تفسیر و استفاده مؤثر از مکانیسم های توجه در تجزیه و تحلیل برنامه است.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.