در سال‌های اخیر، شبکه‌های عصبی عمیق (Deep Neural Networks یا DNN) به ستون فقرات بسیاری از خدمات هوش مصنوعی، از تشخیص چهره و پردازش زبان طبیعی گرفته تا خودروهای خودران، تبدیل شده‌اند. با افزایش تقاضا برای این خدمات، چگونگی «سرویس‌دهی» (Serving) به این مدل‌ها با سرعت بالا و تأخیر کم به یک چالش مهندسی حیاتی بدل شده است. سیستم‌های سرویس‌دهی فعلی برای مدل‌های «ایستا» (Static) طراحی شده‌اند؛ مدل‌هایی که زمان اجرای هر درخواست در آن‌ها تقریباً ثابت و قابل پیش‌بینی است.

اما نسل جدیدی از مدل‌ها، موسوم به DNNهای پویا (Dynamic DNNs)، این معادله را بر هم زده‌اند. مدل‌هایی مانند ترنسفورمرها در پردازش زبان (مانند BERT و GPT) یا مدل‌های بینایی کامپیوتر که از تکنیک «پرش از لایه» (Layer Skipping) استفاده می‌کنند، رفتاری کاملاً وابسته به داده ورودی دارند. زمان پردازش یک جمله کوتاه در مقایسه با یک پاراگراف طولانی می‌تواند تفاوت چشمگیری داشته باشد. این «غیرقابل پیش‌بینی بودن» باعث می‌شود سیستم‌های سرویس‌دهی سنتی با افت شدید کارایی مواجه شوند و نتوانند به اهداف سطح خدمات (Service Level Objectives یا SLOs) که معمولاً بر اساس تأخیر (Latency) تعریف می‌شوند، دست یابند. این مقاله، سیستمی نوین به نام اورلوج (Orloj) را معرفی می‌کند که دقیقاً برای حل این چالش طراحی شده است و پارادایم جدیدی را برای مدیریت بارهای کاری غیرقابل پیش‌بینی در دنیای هوش مصنوعی ارائه می‌دهد.

این مقاله حاصل پژوهش تیمی از متخصصان برجسته در حوزه سیستم‌های کامپیوتری و یادگیری ماشین است:

• Peifeng Yu
• Yuqing Qiu
• Xin Jin
• Mosharaf Chowdhury

این پژوهش در زمینه «محاسبات توزیع‌شده، موازی و خوشه‌ای» (Distributed, Parallel, and Cluster Computing) دسته‌بندی می‌شود که نشان‌دهنده تمرکز آن بر بهینه‌سازی سیستم‌های بزرگ‌مقیاس است. این حوزه که امروزه با نام MLSys (Systems for Machine Learning) نیز شناخته می‌شود، به طراحی زیرساخت‌ها، الگوریتم‌ها و نرم‌افزارهایی می‌پردازد که اجرای کارآمد مدل‌های یادگیری ماشین را در مقیاس واقعی ممکن می‌سازند. نویسندگان با ارائه اورلوج، گامی مهم در جهت انطباق زیرساخت‌های سرویس‌دهی با معماری‌های مدرن و پویای هوش مصنوعی برداشته‌اند.

سیستم‌های سرویس‌دهی DNN موجود، مانند TensorFlow Serving یا NVIDIA Triton، با استفاده از تکنیکی به نام «دسته‌بندی» (Batching) به توان عملیاتی (Throughput) بالا و تأخیر پایین دست می‌یابند. در این روش، چندین درخواست به صورت هم‌زمان به پردازنده گرافیکی (GPU) ارسال می‌شوند تا از قدرت پردازش موازی آن حداکثر استفاده شود. این رویکرد زمانی کارآمد است که زمان اجرای همه درخواست‌های یک دسته تقریباً یکسان باشد.

مشکل اصلی در DNNهای پویا این است که زمان اجرا به شدت به ورودی بستگی دارد. وقتی یک درخواست «کند» (مثلاً پردازش یک متن طولانی) با درخواست‌های «سریع» (متن‌های کوتاه) در یک دسته قرار می‌گیرد، تمام درخواست‌های سریع مجبورند منتظر اتمام کندترین درخواست بمانند. این پدیده که نوعی «انسداد در ابتدای صف» (Head-of-Line Blocking) است، باعث افزایش شدید میانگین تأخیر و از دست رفتن مکرر SLOها می‌شود.

مقاله اورلوج را به عنوان راه‌حلی برای این معضل معرفی می‌کند. اورلوج به جای تلاش برای پیش‌بینی دقیق زمان اجرای هر درخواست، از توزیع‌های تجربی (Empirical Distributions) زمان اجرا بهره می‌برد. این سیستم با تحلیل آماری درخواست‌های گذشته، یک مدل احتمالی از زمان اجرای انواع مختلف ورودی‌ها ایجاد می‌کند و سپس از این اطلاعات برای تصمیم‌گیری هوشمندانه در مورد دسته‌بندی و زمان‌بندی درخواست‌ها استفاده می‌کند. نتایج نشان می‌دهد که اورلوج در مقایسه با پیشرفته‌ترین راه‌حل‌های موجود، نرخ اتمام موفق (درخواست‌هایی که در محدوده SLO به پایان می‌رسند) را برای بارهای کاری پویا بین ۵۱ تا ۸۰ درصد بهبود می‌بخشد و در عین حال، عملکردی مشابه با سیستم‌های سنتی برای بارهای کاری ایستا حفظ می‌کند.

نوآوری اصلی اورلوج در رویکرد احتمالی آن به مسئله زمان‌بندی نهفته است. این سیستم از دو جزء کلیدی تشکیل شده است: پروفایل‌ساز (Profiler) و زمان‌بند (Scheduler).

• پروفایل‌ساز (Profiler): این جزء به صورت آفلاین یا در حین اجرا، زمان پردازش درخواست‌های مختلف را اندازه‌گیری می‌کند. به جای ذخیره یک عدد واحد برای زمان اجرا، اورلوج یک توزیع آماری برای هر «کلاس» از ورودی‌ها ایجاد می‌کند. برای مثال، در یک مدل پردازش زبان، ورودی‌ها بر اساس طول توکن‌ها (تعداد کلمات یا زیرکلمات) دسته‌بندی می‌شوند و برای هر دسته (مثلاً ۱۰-۲۰ توکن، ۲۰-۳۰ توکن و …) یک توزیع آماری از زمان‌های اجرای مشاهده‌شده ساخته می‌شود. این توزیع‌ها ماهیت متغیر زمان اجرا را به خوبی ثبت می‌کنند.
• زمان‌بند (Scheduler): این بخش قلب تپنده اورلوج است. هنگامی که درخواست‌های جدید وارد می‌شوند، زمان‌بند به جای انتخاب تصادفی درخواست‌ها برای ایجاد یک دسته، از توزیع‌های تجربی استفاده می‌کند تا تصمیمی بهینه بگیرد. الگوریتم زمان‌بندی اورلوج چندین استراتژی را در نظر می‌گیرد:
  • گروه‌بندی مشابه: تلاش می‌کند درخواست‌هایی با توزیع زمان اجرای مشابه را در یک دسته قرار دهد تا واریانس درون‌دسته‌ای به حداقل برسد.
  • ایجاد دسته‌های کوچک برای درخواست‌های طولانی: اگر یک درخواست با احتمال بالا زمان اجرای طولانی داشته باشد، اورلوج ممکن است آن را در یک دسته کوچک‌تر یا حتی به صورت تکی اجرا کند تا از به تأخیر انداختن تعداد زیادی از درخواست‌های دیگر جلوگیری شود.
  • مدیریت مهلت زمانی (Deadline-aware): زمان‌بند با آگاهی از SLO هر درخواست، اولویت را به درخواست‌هایی می‌دهد که به پایان مهلت زمانی خود نزدیک‌تر هستند و دسته‌بندی را به گونه‌ای تنظیم می‌کند که احتمال موفقیت آن‌ها افزایش یابد.

این رویکرد مبتنی بر احتمالات، اورلوج را قادر می‌سازد تا بدون نیاز به پیش‌بینی دقیق و قطعی، به شکلی هوشمندانه با عدم قطعیت ذاتی در DNNهای پویا کنار بیاید و تخصیص منابع را بهینه کند. در واقع، اورلوج عدم قطعیت را به عنوان یک ویژگی می‌پذیرد و آن را در مدل تصمیم‌گیری خود ادغام می‌کند.

برای ارزیابی عملکرد اورلوج، نویسندگان آن را با سیستم‌های پیشرفته موجود روی مجموعه‌ای از مدل‌های DNN پویا و ایستا مقایسه کردند. یافته‌های اصلی این ارزیابی به شرح زیر است:

• بهبود چشمگیر برای DNNهای پویا: در بارهای کاری با واریانس بالا (مانند مدل BERT برای پردازش زبان)، اورلوج توانست نرخ اتمام موفق (Finish Rate) را تحت محدودیت‌های SLO سخت‌گیرانه (تأخیر بسیار کم) بین ۵۱ تا ۸۰ درصد افزایش دهد. این به معنای آن است که تعداد بسیار بیشتری از کاربران پاسخ خود را در زمان مقرر دریافت می‌کنند.
• عملکرد فوق‌العاده در SLOهای آسان‌تر: زمانی که محدودیت‌های زمانی کمی آسان‌تر بودند، برتری اورلوج حتی بیشتر شد و بهبود عملکردی بیش از ۱۰۰ درصد را به ثبت رساند. این نشان می‌دهد که اورلوج در به حداکثر رساندن توان عملیاتی سیستم بسیار کارآمد است.
• حفظ عملکرد برای DNNهای ایستا: یکی از مهم‌ترین نتایج این بود که اورلوج برای مدل‌های ایستا (مانند ResNet در بینایی کامپیوتر) که زمان اجرای قابل پیش‌بینی دارند، عملکردی کاملاً مشابه با سیستم‌های بهینه‌سازی‌شده برای این مدل‌ها ارائه داد. این ویژگی کلیدی، اورلوج را به یک راه‌حل جامع و بدون مصالحه (No-Compromise) تبدیل می‌کند که می‌تواند در محیط‌های سرویس‌دهی ترکیبی به کار گرفته شود.
• کاهش تأخیر دنباله (Tail Latency): اورلوج نه تنها میانگین تأخیر را کاهش می‌دهد، بلکه تأخیر درخواست‌های بسیار کند (که به آن تأخیر دنباله می‌گویند) را نیز به شدت بهبود می‌بخشد. این امر تجربه کاربری باثبات‌تری را برای همه کاربران فراهم می‌کند.

دستاوردها و کاربردهای عملی اورلوج بسیار گسترده و تأثیرگذار هستند:

• سرویس‌دهی به مدل‌های زبان بزرگ (LLMs): مدل‌هایی مانند GPT-3، BERT و سایر ترنسفورمرها که ستون فقرات موتورهای جستجو، چت‌بات‌ها و ابزارهای خلاصه‌سازی متن هستند، ذاتاً پویا هستند. اورلوج می‌تواند به شرکت‌های بزرگ فناوری کمک کند تا این خدمات را با هزینه کمتر و کیفیت بالاتر به میلیون‌ها کاربر ارائه دهند.
• بهینه‌سازی مدل‌های بینایی کامپیوتر تطبیقی: معماری‌های جدید بینایی کامپیوتر، بسته به پیچیدگی تصویر، ممکن است از مسیرهای محاسباتی متفاوتی عبور کنند (مثلاً با پرش از برخی لایه‌ها برای تصاویر ساده). اورلوج برای سرویس‌دهی کارآمد به این مدل‌های تطبیقی ایده‌آل است.
• تغییر پارادایم در طراحی سیستم‌های ML: مهم‌ترین دستاورد این مقاله، معرفی یک پارادایم جدید در طراحی سیستم‌های سرویس‌دهی است. اورلوج نشان می‌دهد که به جای تلاش برای حذف یا پیش‌بینی دقیق عدم قطعیت، می‌توان آن را با استفاده از ابزارهای آماری مدیریت کرد. این رویکرد می‌تواند الهام‌بخش طراحی نسل‌های آینده سیستم‌های هوشمند باشد.
• صرفه‌جویی در هزینه‌های زیرساخت: با افزایش کارایی و توان عملیاتی، اورلوج به شرکت‌ها اجازه می‌دهد تا با تعداد کمتری پردازنده گرافیکی (GPU) به همان تعداد کاربر سرویس‌دهی کنند، که این امر منجر به صرفه‌جویی قابل توجهی در هزینه‌های سخت‌افزاری و مصرف انرژی می‌شود.

مقاله “اورلوج: سرویس‌دهی قابل پیش‌بینی به DNNهای غیرقابل پیش‌بینی” یک مشکل واقعی و رو به رشد در دنیای عملیاتی کردن هوش مصنوعی را هدف قرار می‌دهد. با افزایش پیچیدگی و پویایی مدل‌های DNN، سیستم‌های سرویس‌دهی سنتی که بر پایه فرض زمان اجرای ثابت ساخته شده‌اند، کارایی خود را از دست می‌دهند.

اورلوج با رویکرد نوآورانه خود مبتنی بر استفاده از توزیع‌های آماری زمان اجرا، راه‌حلی قدرتمند و کارآمد ارائه می‌دهد. این سیستم با مدیریت هوشمندانه واریانس، موفق می‌شود توان عملیاتی را به شدت افزایش دهد و نرخ پایبندی به اهداف سطح خدمات (SLO) را به طور چشمگیری بهبود بخشد، بدون آنکه عملکردی برای بارهای کاری سنتی و ایستا فدا شود. اورلوج نه تنها یک ابزار مهندسی ارزشمند است، بلکه نمونه‌ای برجسته از چگونگی به‌کارگیری اصول آماری برای حل چالش‌های پیچیده در سیستم‌های محاسباتی مدرن به شمار می‌رود و مسیر را برای سرویس‌دهی پایدار و مقیاس‌پذیر به نسل بعدی هوش مصنوعی هموار می‌سازد.