در سال‌های اخیر، مدل‌های زبانی بزرگ (LLMs) که در پردازش زبان طبیعی (NLP) انقلابی به پا کرده‌اند، به حوزه مدل‌سازی زبان‌های برنامه‌نویسی نیز راه یافته‌اند تا هوش کد (Code Intelligence) را ارتقا دهند. با این حال، کد با زبان طبیعی تفاوت‌های بنیادینی دارد. کد، برخلاف زبان انسان، دارای ساختاری نحوی (syntactic) بسیار دقیق و سخت‌گیرانه است تا بتواند به درستی کامپایل یا تفسیر شده و مجموعه‌ای از رفتارهای مشخص را در پاسخ به ورودی‌های مختلف اجرا کند.

بسیاری از رویکردهای موجود تلاش می‌کنند تا با استفاده از بازنمایی‌های نحوی مانند درخت نحو انتزاعی (AST) یا گراف جریان کنترل (CFG)، ابهام را در یادگیری از کد کاهش دهند. اما یک چالش اساسی همچنان باقی است: برنامه‌هایی با اهداف یکسان ممکن است به روش‌های کاملاً متفاوتی پیاده‌سازی شوند و در نتیجه ساختار نحوی متفاوتی داشته باشند. از سوی دیگر، برنامه‌هایی با پیاده‌سازی مشابه ممکن است رفتارهای کاملاً متفاوتی از خود نشان دهند. این معناشناسی (semantics) عمیق که به عملکرد و رفتار برنامه مربوط می‌شود، به سادگی از روی متن کد قابل یادگیری نیست.

اینجاست که اهمیت مقاله «پیش‌آموزش بازنمایی کد با اطلاعات تکمیلی حاصل از اجرای برنامه» آشکار می‌شود. این مقاله یک رویکرد نوآورانه برای حل این مشکل ارائه می‌دهد و پیشنهاد می‌کند که برای درک واقعی یک قطعه کد، نباید فقط به متن آن بسنده کرد، بلکه باید آن را اجرا کرد و رفتار دینامیک آن را تحلیل نمود. این پژوهش پلی میان تحلیل استاتیک (بررسی متن کد) و تحلیل دینامیک (بررسی رفتار اجرایی) ایجاد کرده و راه را برای ساخت مدل‌هایی با درک عمیق‌تر و کاربردی‌تر از کد هموار می‌سازد.

این مقاله توسط تیمی از پژوهشگران برجسته به نام‌های جیابو هوانگ، جیانیو ژائو، یویانگ رونگ، ایون گو، ایی‌فنگ هی و هائو چن به رشته تحریر درآمده است. این پژوهش در تقاطع سه حوزه کلیدی علمی قرار دارد:

• مهندسی نرم‌افزار (Software Engineering): تمرکز بر روش‌های بهبود کیفیت، تحلیل و درک کد.
• هوش مصنوعی (Artificial Intelligence): استفاده از تکنیک‌های یادگیری ماشین و مدل‌های زبانی بزرگ برای خودکارسازی وظایف پیچیده.
• محاسبات و زبان (Computation and Language): بررسی ساختار زبان‌های برنامه‌نویسی به عنوان یک زبان رسمی و مدل‌سازی آن.

این ترکیب میان‌رشته‌ای به نویسندگان اجازه داده است تا با نگاهی نو به چالش‌های قدیمی در حوزه درک کد، راه‌حلی خلاقانه ارائه دهند که از قدرت مدل‌های هوش مصنوعی برای حل یک مسئله بنیادین در مهندسی نرم‌افزار بهره می‌برد.

هدف اصلی این مقاله، معرفی یک روش پیش‌آموزش جدید به نام FuzzPretrain است. این روش برای غنی‌سازی بازنمایی کد، از اطلاعات دینامیک به‌دست‌آمده از اجرای برنامه‌ها استفاده می‌کند. نویسندگان استدلال می‌کنند که معنای واقعی یک برنامه در رفتار آن نهفته است؛ رفتاری که تنها در زمان اجرا قابل مشاهده است.

برای دستیابی به این اطلاعات دینامیک، FuzzPretrain از یک ابزار سفارشی‌سازی‌شده به نام «فازر» (Fuzzer) کمک می‌گیرد. فازرها ابزارهایی هستند که به صورت خودکار تعداد زیادی ورودی (تست کیس) متنوع و غیرمنتظره تولید می‌کنند تا برنامه را در شرایط مختلف به چالش بکشند. با اجرای کد با این تست کیس‌ها، مدل می‌تواند الگوهای رفتاری، خروجی‌ها و حالات مختلف برنامه را مشاهده و ثبت کند. سپس این اطلاعات دینامیک به عنوان یک «مکمل» ارزشمند به اطلاعات استاتیک (متن کد) اضافه شده و در فرآیند پیش‌آموزش مدل گنجانده می‌شود. نکته مهم این است که استفاده از فازر و اجرای کد فقط در مرحله پیش‌آموزش مورد نیاز است و مدل نهایی برای استفاده، نیازی به اجرای مجدد کد ندارد. نتایج نشان می‌دهد که این رویکرد به بهبود چشمگیری در وظایفی مانند جستجوی کد منجر شده است.

روش‌شناسی FuzzPretrain بر این ایده استوار است که دو قطعه کد زمانی از نظر معنایی به هم شبیه‌اند که در پاسخ به ورودی‌های مشابه، رفتارهای مشابهی از خود نشان دهند. این متدولوژی از چند مرحله کلیدی تشکیل شده است:

• مرحله ۱: تولید تست کیس با فازینگ (Fuzzing): برای هر قطعه کد در مجموعه داده آموزشی، یک فازر سفارشی به کار گرفته می‌شود. این فازر به طور هوشمند ورودی‌های متنوعی تولید می‌کند تا طیف گسترده‌ای از مسیرهای اجرایی ممکن در کد را پوشش دهد. برای مثال، برای تابعی که یک رشته را پردازش می‌کند، فازر ممکن است رشته‌های خالی، رشته‌های بسیار طولانی، رشته‌هایی با کاراکترهای خاص و… تولید کند.
• مرحله ۲: اجرای برنامه و جمع‌آوری اطلاعات دینامیک: هر قطعه کد با تست کیس‌های تولیدشده اجرا می‌شود. در حین اجرا، اطلاعات کلیدی مانند مقادیر ورودی-خروجی، حالات متغیرها، یا مسیرهای اجرایی پیموده‌شده ثبت و ضبط می‌گردند. این داده‌ها، اثر انگشت رفتاری (behavioral fingerprint) آن کد محسوب می‌شوند.
• مرحله ۳: یادگیری بازنمایی ترکیبی: در فرآیند پیش‌آموزش، مدل زبانی بزرگ به گونه‌ای آموزش داده می‌شود که بازنمایی‌ای (embedding) از کد تولید کند که هم اطلاعات استاتیک (ساختار نحوی کد) و هم اطلاعات دینامیک (رفتار اجرایی) را در خود جای دهد. مدل یاد می‌گیرد که اگر دو برنامه از نظر رفتاری شبیه به هم هستند، بردارهای بازنمایی آن‌ها نیز باید در فضای برداری به یکدیگر نزدیک باشند، حتی اگر کد منبع آن‌ها کاملاً متفاوت به نظر برسد.

این رویکرد به مدل اجازه می‌دهد تا از سطح درک نحوی فراتر رفته و به درک عمیق معنایی و عملکردی از کد دست یابد. برای مثال، یک تابع مرتب‌سازی حبابی (Bubble Sort) و یک تابع مرتب‌سازی سریع (Quick Sort)، با وجود پیاده‌سازی‌های کاملاً متفاوت، از دیدگاه FuzzPretrain شباهت بالایی خواهند داشت، زیرا رفتار نهایی آن‌ها (مرتب کردن یک لیست) یکسان است.

اثربخشی روش FuzzPretrain به صورت کمی و از طریق آزمایش‌های گسترده ارزیابی شده است. نتایج این مقاله بسیار چشمگیر و قابل توجه هستند. نویسندگان عملکرد مدل خود را در وظیفه «جستجوی کد» (Code Search) با مدل‌های پایه مقایسه کرده‌اند. در این وظیفه، هدف پیدا کردن قطعه کد مرتبط بر اساس یک توصیف به زبان طبیعی است.

یافته‌های اصلی عبارتند از:

• مدل FuzzPretrain توانست بهبودی بیش از ۶٪ در معیار mAP (میانگین میانگین دقت) نسبت به مدل‌هایی که فقط با استفاده از کد منبع آموزش دیده‌اند، کسب کند.
• این روش همچنین عملکردی برتر از مدل‌هایی داشت که از ساختارهای نحوی پیشرفته‌تری مانند درخت نحو انتزاعی (AST) استفاده می‌کردند و بهبودی بیش از ۹٪ در mAP را به ثبت رساند.

معیار mAP یک شاخص استاندارد برای ارزیابی کیفیت سیستم‌های جستجو و بازیابی اطلاعات است. این بهبودهای قابل توجه به وضوح نشان می‌دهند که افزودن اطلاعات دینامیک حاصل از اجرای برنامه، به مدل کمک می‌کند تا بازنمایی‌های کد تمایزبخش‌تری (more discriminative) تولید کند. به عبارت دیگر، مدل توانایی بیشتری در تفکیک کدهایی با عملکردهای متفاوت و گروه‌بندی کدهایی با عملکردهای مشابه پیدا می‌کند.

دستاورد اصلی این مقاله، ارائه یک پارادایم جدید و مؤثر برای پیش‌آموزش مدل‌های هوش مصنوعی برای کد است. این رویکرد پیامدها و کاربردهای عملی گسترده‌ای در زمینه مهندسی نرم‌افزار دارد:

• جستجوی معنایی کد: همانطور که در آزمایش‌ها نشان داده شد، این روش موتورهای جستجوی کد را به شدت بهبود می‌بخشد. توسعه‌دهندگان می‌توانند به جای جستجو بر اساس کلمات کلیدی، عملکرد مورد نظر خود را توصیف کرده و قطعه کدهای مرتبط را، صرف‌نظر از نحوه پیاده‌سازی، پیدا کنند.
• تشخیص کدهای تکراری عملکردی (Functional Clone Detection): شناسایی قطعه کدهایی که یک کار یکسان را انجام می‌دهند، حتی اگر از نظر متنی کاملاً متفاوت باشند. این امر برای نگهداری و بازآفرینی (refactoring) کدبیس‌های بزرگ بسیار حیاتی است.
• اشکال‌زدایی و یافتن باگ: مدل‌هایی که رفتار کد را درک می‌کنند، پتانسیل بالایی برای شناسایی ناهنجاری‌های رفتاری و باگ‌های منطقی دارند که توسط تحلیل‌گرهای استاتیک قابل کشف نیستند.
• تولید خودکار خلاصه کد (Code Summarization): تولید توصیفاتی دقیق‌تر از کاری که یک تابع یا ماژول *انجام می‌دهد*، نه فقط توصیف ساختار آن.
• ترجمه و انتقال کد بین زبان‌ها: اطمینان از اینکه کد ترجمه‌شده به یک زبان دیگر، همان رفتار و عملکرد کد اصلی را حفظ می‌کند.

این دستاوردها نشان می‌دهند که حرکت به سمت ادغام تحلیل دینامیک در مدل‌های زبانی، گامی بزرگ به سوی ساخت ابزارهای توسعه نرم‌افزار هوشمندتر و کارآمدتر است.

مقاله «پیش‌آموزش بازنمایی کد با اطلاعات تکمیلی حاصل از اجرای برنامه» به طور قانع‌کننده‌ای نشان می‌دهد که بازنمایی‌های مبتنی بر تحلیل استاتیک کد، برای درک کامل معنا و عملکرد آن کافی نیستند. با معرفی روش نوآورانه FuzzPretrain، نویسندگان مسیری جدید را برای غنی‌سازی مدل‌های زبانی از طریق اطلاعات دینامیک به‌دست‌آمده از اجرای برنامه باز کرده‌اند.

این پژوهش با بهره‌گیری از تکنیک فازینگ برای تولید تست کیس‌های متنوع و تزریق دانش حاصل از رفتار اجرایی کد به فرآیند یادگیری، موفق به دستیابی به بهبودهای قابل توجهی در وظایف هوش کد شده است. یافته‌های این مقاله تأکید می‌کنند که آینده مدل‌های هوش مصنوعی برای کد در گروی توانایی آن‌ها برای پل زدن میان دنیای استاتیک متن کد و دنیای دینامیک اجرای آن است. این کار نه تنها یک پیشرفت فنی مهم محسوب می‌شود، بلکه الهام‌بخش تحقیقات آتی برای ساخت ابزارهای هوشمندتری است که توسعه‌دهندگان را در چالش‌های روزمره یاری می‌کنند.