ترجمه فارسی مقاله کد کثیف مدیریت خطوط لوله ML را دشوار می کند؟ فقط اجازه دهید LLM ها کد را بازنویسی کنند!

چکیده

Machine learning (ML) applications that learn from data are increasingly used to automate impactful decisions. Unfortunately, these applications often fall short of adequately managing critical data and complying with upcoming regulations. A technical reason for the persistence of these issues is that the data pipelines in common ML libraries and cloud services lack fundamental declarative, data-centric abstractions. Recent research has shown how such abstractions enable techniques like provenance tracking and automatic inspection to help manage ML pipelines. Unfortunately, these approaches lack adoption in the real world because they require clean ML pipeline code written with declarative APIs, instead of the messy imperative Python code that data scientists typically write for data preparation. We argue that it is unrealistic to expect data scientists to change their established development practices. Instead, we propose to circumvent this “code abstraction gap” by leveraging the code generation capabilities of large language models (LLMs). Our idea is to rewrite messy data science code to a custom-tailored declarative pipeline abstraction, which we implement as a proof-of-concept in our prototype Lester. We detail its application for a challenging compliance management example involving “incremental view maintenance” of deployed ML pipelines. The code rewrites for our running example show the potential of LLMs to make messy data science code declarative, e.g., by identifying hand-coded joins in Python and turning them into joins on dataframes, or by generating declarative feature encoders from NumPy code.

چکیده به فارسی (ترجمه ماشینی)

برنامه های یادگیری ماشین (ML) که از داده ها می آموزند به طور فزاینده ای برای خودکار سازی تصمیمات تأثیرگذار استفاده می شوند.متأسفانه ، این برنامه ها غالباً از مدیریت مناسب داده های مهم و رعایت مقررات آینده کوتاهی می کنند.یک دلیل فنی برای تداوم این موضوعات این است که خطوط لوله داده در کتابخانه های مشترک ML و خدمات ابری فاقد انتزاع های اساسی و اعلانی و محور داده های محور هستند.تحقیقات اخیر نشان داده است که چگونه چنین انتزاعاتی تکنیک هایی مانند ردیابی پیشرفت و بازرسی خودکار را برای کمک به مدیریت خطوط لوله ML امکان پذیر می کند.متأسفانه ، این رویکردها فاقد اتخاذ در دنیای واقعی هستند زیرا به جای کد Python Emperative Python که دانشمندان داده ها معمولاً برای تهیه داده ها می نویسند ، به کد خط لوله ML تمیز نوشته شده با API های اعلامی نیاز دارند.ما استدلال می کنیم که انتظار می رود دانشمندان داده بتوانند شیوه های توسعه مستقر خود را تغییر دهند.درعوض ، ما پیشنهاد می کنیم با استفاده از قابلیت تولید کد مدل های بزرگ زبان (LLM) ، این “شکاف انتزاع کد” را دور بزنید.ایده ما بازنویسی کد علوم داده های کثیف به یک انتزاع خط لوله اعلامی سفارشی است ، که ما به عنوان اثبات مفهوم در نمونه اولیه ما پیاده سازی می کنیم.ما کاربرد آن را برای یک مثال مدیریت انطباق چالش برانگیز شامل “نگهداری دیدگاه افزایشی” از خطوط لوله ML مستقر در مورد جزئیات شرح می دهیم.بازنویسی کد برای مثال در حال اجرا ما ، پتانسیل LLM ها را نشان می دهد که با شناسایی پیوندهای دست نوشته شده در پایتون و تبدیل آنها به پیوندها در DataFrames ، یا با تولید رمزگذار ویژگی های اعلامیه از کد Numpy ، اعلامیه کد علوم داده های کثیف را نشان می دهد.