مقاله بررسی استنتاج مدل یادگیری ماشین بدون سرور

چکیده

Recent developments in Generative AI, Computer Vision, and Natural Language Processing have led to an increased integration of AI models into various products. This widespread adoption of AI requires significant efforts in deploying these models in production environments. When hosting machine learning models for real-time predictions, it is important to meet defined Service Level Objectives (SLOs), ensuring reliability, minimal downtime, and optimizing operational costs of the underlying infrastructure. Large machine learning models often demand GPU resources for efficient inference to meet SLOs. In the context of these trends, there is growing interest in hosting AI models in a serverless architecture while still providing GPU access for inference tasks. This survey aims to summarize and categorize the emerging challenges and optimization opportunities for large-scale deep learning serving systems. By providing a novel taxonomy and summarizing recent trends, we hope that this survey could shed light on new optimization perspectives and motivate novel works in large-scale deep learning serving systems.

چکیده به فارسی (ترجمه ماشینی)

تحولات اخیر در هوش مصنوعی تولیدی ، چشم انداز رایانه و پردازش زبان طبیعی منجر به افزایش ادغام مدل های هوش مصنوعی در محصولات مختلف شده است.این اتخاذ گسترده AI نیاز به تلاشهای قابل توجهی در استقرار این مدل ها در محیط های تولید دارد.هنگام میزبانی مدل های یادگیری ماشین برای پیش بینی های زمان واقعی ، مهم است که اهداف سطح خدمات تعریف شده (SLO) ، اطمینان از قابلیت اطمینان ، حداقل خرابی و بهینه سازی هزینه های عملیاتی زیرساخت های اساسی را برآورده کنید.مدلهای بزرگ یادگیری ماشین اغلب برای استنتاج کارآمد برای برآورده کردن SLO ها ، منابع GPU را برای استنباط کارآمد می طلبند.در زمینه این روندها ، علاقه زیادی به میزبانی مدل های هوش مصنوعی در یک معماری بدون سرور وجود دارد در حالی که هنوز دسترسی به GPU برای کارهای استنتاج را فراهم می کند.این نظرسنجی با هدف خلاصه و طبقه بندی چالش های نوظهور و فرصت های بهینه سازی برای سیستم های خدمت عمیق یادگیری عمیق.با ارائه یک طبقه بندی جدید و خلاصه کردن روندهای اخیر ، امیدواریم که این نظرسنجی بتواند دیدگاه های جدید بهینه سازی را روشن کند و آثار جدید را در سیستم های خدمات عمیق یادگیری عمیق ایجاد کند.