در دنیای امروز، پیشرفت‌های چشمگیری در حوزه‌های مختلف هوش مصنوعی، از جمله بینایی کامپیوتر و پردازش زبان طبیعی، به واسطه آموزش مدل‌های بزرگ‌مقیاس حاصل شده است. با این حال، ایجاد سیستم‌های یادگیری رباتیک در مقیاسی مشابه، همچنان با چالش‌های متعددی روبرو است. برای توسعه ربات‌هایی که قادر به انجام طیف گسترده‌ای از مهارت‌ها و انطباق با سناریوهای جدید باشند، نیاز به روش‌های کارآمد برای جمع‌آوری حجم وسیع و متنوعی از داده‌ها بر روی سیستم‌های رباتیکی فیزیکی و همچنین قابلیت آموزش سیاست‌های با ظرفیت بالا با استفاده از این مجموعه داده‌ها وجود دارد. مقاله حاضر به ارائه راهکاری در این زمینه می‌پردازد.

این مقاله توسط Zhao Mandi, Homanga Bharadhwaj, Vincent Moens, Shuran Song, Aravind Rajeswaran و Vikash Kumar به رشته تحریر درآمده است. نویسندگان از متخصصین حوزه‌های رباتیک، هوش مصنوعی و یادگیری ماشین هستند و تحقیقات آن‌ها بر توسعه روش‌های نوین یادگیری برای ربات‌ها با تمرکز بر مقیاس‌پذیری و تعمیم‌پذیری متمرکز است.

این تحقیق در زمینه یادگیری تقلیدی (Imitation Learning) انجام شده است. یادگیری تقلیدی یک رویکرد یادگیری ماشین است که در آن یک عامل (Agent) سعی می‌کند با مشاهده رفتار یک متخصص (Expert)، نحوه انجام یک کار خاص را یاد بگیرد. در این مقاله، تمرکز بر یادگیری تقلیدی بصری (Visual Imitation Learning) است، به این معنی که عامل، رفتار متخصص را از طریق تصاویر و ویدیوها یاد می‌گیرد.

این مقاله یک چارچوب جدید به نام کاکتی (CACTI) را برای مقیاس‌بندی یادگیری رباتیک، با تمرکز ویژه بر دستکاری چندوظیفه‌ای و چندصحنه‌ای در محیط‌های آشپزخانه، هم در شبیه‌سازی و هم در دنیای واقعی، ارائه می‌دهد. چارچوب پیشنهادی کاکتی شامل چهار مرحله مجزا است که به ترتیب عبارتند از:

• جمع‌آوری داده‌ها: جمع‌آوری مجموعه داده‌های بزرگ و متنوع از تعاملات ربات با محیط.
• افزایش داده‌ها: استفاده از مدل‌های مولد پیشرفته برای افزایش تنوع و حجم داده‌ها.
• یادگیری نمایش بصری: یادگیری ویژگی‌های بصری معنادار از داده‌ها.
• آموزش سیاست تقلیدی: آموزش یک سیاست کنترل ربات بر اساس داده‌های جمع‌آوری‌شده و افزایش‌یافته.

کاکتی از مدل‌های مولد پیشرفته به عنوان بخشی از مرحله افزایش داده استفاده می‌کند و از نمایش‌های بصری از پیش آموزش‌دیده خارج از دامنه (out-of-domain) برای بهبود کارایی آموزش بهره می‌برد. نتایج تجربی، اثربخشی رویکرد را نشان می‌دهد. در یک راه‌اندازی ربات واقعی، کاکتی آموزش کارآمد یک سیاست واحد را امکان‌پذیر می‌کند که می‌تواند 10 کار دستکاری شامل اشیاء آشپزخانه را انجام دهد و در برابر تغییر چیدمان موانع مقاوم است. در یک محیط آشپزخانه شبیه‌سازی‌شده، کاکتی یک سیاست واحد را برای انجام 18 وظیفه معنایی در 100 تغییر طرح‌بندی برای هر وظیفه جداگانه آموزش می‌دهد. نویسندگان قصد دارند معیار وظیفه شبیه‌سازی و مجموعه داده‌های افزایش‌یافته را در هر دو محیط واقعی و شبیه‌سازی‌شده منتشر کنند تا تحقیقات آینده را تسهیل کنند.

روش‌شناسی تحقیق در این مقاله بر پایه یک رویکرد چهار مرحله‌ای استوار است که به طور خاص برای حل چالش‌های مقیاس‌پذیری در یادگیری رباتیک طراحی شده است. در اینجا به تفصیل به هر یک از این مراحل می‌پردازیم:

1. جمع‌آوری داده‌ها: این مرحله شامل جمع‌آوری داده‌های آموزشی از طریق تعامل ربات با محیط است. داده‌ها می‌توانند شامل تصاویر، ویدیوها، داده‌های حسگر (مانند موقعیت و جهت‌گیری مفاصل ربات) و اقدامات انجام شده توسط ربات باشند. نویسندگان بر اهمیت جمع‌آوری داده‌های متنوع و جامع تاکید دارند تا سیاست آموزش‌دیده بتواند به خوبی به شرایط مختلف تعمیم یابد. برای مثال، در محیط آشپزخانه، این داده‌ها می‌تواند شامل تصاویر ربات در حال باز کردن کابینت، برداشتن یک فنجان، یا مخلوط کردن مواد غذایی باشد.
2. افزایش داده‌ها: به دلیل محدودیت‌های جمع‌آوری داده‌های واقعی، نویسندگان از تکنیک‌های افزایش داده برای افزایش حجم و تنوع داده‌های آموزشی استفاده می‌کنند. این تکنیک‌ها می‌توانند شامل چرخش، تغییر مقیاس، تغییر رنگ و افزودن نویز به تصاویر باشند. نویسندگان همچنین از مدل‌های مولد پیشرفته، مانند شبکه‌های مولد تخاصمی (GANs)، برای تولید تصاویر مصنوعی استفاده می‌کنند که شبیه به تصاویر واقعی هستند اما تنوع بیشتری دارند. این کار باعث می‌شود که ربات بتواند به شرایطی که در داده‌های واقعی مشاهده نشده‌اند نیز پاسخ دهد. برای مثال، یک GAN می‌تواند تصاویر جدیدی از ربات در حال برداشتن فنجان از زوایای دید مختلف یا در شرایط نوری متفاوت تولید کند.
3. یادگیری نمایش بصری: این مرحله شامل یادگیری ویژگی‌های بصری معنادار از داده‌های تصویری است. به عبارت دیگر، هدف این است که یک مدل یادگیری ماشین آموزش داده شود تا بتواند تصاویر را به ویژگی‌هایی تبدیل کند که برای یادگیری سیاست کنترل ربات مفید باشند. نویسندگان از نمایش‌های بصری از پیش آموزش‌دیده خارج از دامنه (out-of-domain) استفاده می‌کنند، به این معنی که مدلی که برای یک کار دیگر (مثلاً طبقه‌بندی تصاویر) آموزش داده شده است، برای استخراج ویژگی‌ها از تصاویر ربات استفاده می‌شود. این کار می‌تواند به بهبود کارایی آموزش و کاهش نیاز به داده‌های آموزشی کمک کند. برای مثال، از یک مدل آموزش‌دیده بر روی مجموعه داده ImageNet می‌توان برای استخراج ویژگی‌هایی مانند لبه‌ها، بافت‌ها و اشیاء از تصاویر آشپزخانه استفاده کرد.
4. آموزش سیاست تقلیدی: در نهایت، از داده‌های جمع‌آوری‌شده و افزایش‌یافته و ویژگی‌های بصری یادگرفته‌شده برای آموزش یک سیاست کنترل ربات استفاده می‌شود. سیاست یک تابع ریاضی است که با دریافت ورودی (مثلاً تصویر و موقعیت ربات)، اقدام مناسب (مثلاً حرکت دادن مفاصل ربات) را تعیین می‌کند. نویسندگان از روش‌های یادگیری تقلیدی برای آموزش سیاست استفاده می‌کنند، به این معنی که سیاست سعی می‌کند رفتار یک متخصص (مثلاً یک انسان یا یک کنترل‌کننده از پیش تعریف‌شده) را تقلید کند. برای مثال، سیاست ممکن است سعی کند حرکات دست یک انسان را که در حال برداشتن یک فنجان است تقلید کند.

یافته‌های کلیدی این تحقیق نشان می‌دهد که چارچوب کاکتی به طور قابل توجهی عملکرد ربات‌ها را در انجام وظایف دستکاری چندوظیفه‌ای و چندصحنه‌ای در محیط‌های آشپزخانه بهبود می‌بخشد. برخی از مهم‌ترین یافته‌ها عبارتند از:

• کارایی آموزش: کاکتی امکان آموزش کارآمد سیاست‌های کنترل ربات را فراهم می‌کند، به این معنی که با استفاده از این چارچوب، می‌توان سیاست‌هایی را آموزش داد که با سرعت بیشتری به عملکرد مطلوب برسند. این امر به ویژه در محیط‌های پیچیده و پرهزینه، مانند رباتیک، اهمیت دارد.
• تعمیم‌پذیری: سیاست‌های آموزش‌دیده با استفاده از کاکتی قادر به تعمیم به شرایط جدید و ناآشنا هستند. به عنوان مثال، یک سیاست آموزش‌دیده در یک چیدمان آشپزخانه خاص می‌تواند با موفقیت در چیدمان‌های مختلف و با موانع متفاوت نیز کار کند.
• مقاومت در برابر نویز: کاکتی سیاست‌هایی را تولید می‌کند که در برابر نویز و اغتشاشات موجود در محیط مقاوم هستند. این امر به ویژه در محیط‌های واقعی که ممکن است با شرایط غیرقابل پیش‌بینی مواجه شوند، اهمیت دارد.
• عملکرد در دنیای واقعی: نتایج تجربی نشان می‌دهد که کاکتی می‌تواند یک سیاست واحد را آموزش دهد که قادر به انجام 10 کار دستکاری مختلف در دنیای واقعی با استفاده از یک ربات فیزیکی است. این نشان می‌دهد که این چارچوب از پتانسیل بالایی برای کاربردهای عملی برخوردار است.
• عملکرد در شبیه‌سازی: کاکتی همچنین قادر به آموزش یک سیاست واحد در محیط شبیه‌سازی‌شده است که قادر به انجام 18 وظیفه معنایی مختلف در 100 تغییر طرح‌بندی برای هر وظیفه است. این نشان می‌دهد که این چارچوب می‌تواند برای آموزش ربات‌ها در محیط‌های مجازی و سپس انتقال آن‌ها به دنیای واقعی استفاده شود.

این تحقیق دارای کاربردها و دستاوردهای متعددی است که می‌تواند به پیشرفت حوزه رباتیک و هوش مصنوعی کمک کند. برخی از مهم‌ترین آن‌ها عبارتند از:

• توسعه ربات‌های خانگی: چارچوب کاکتی می‌تواند برای توسعه ربات‌های خانگی هوشمندتر و کارآمدتر مورد استفاده قرار گیرد. این ربات‌ها می‌توانند به انجام وظایف مختلف در خانه، مانند پخت و پز، تمیز کردن و مراقبت از سالمندان، کمک کنند.
• اتوماسیون صنعتی: کاکتی می‌تواند برای اتوماسیون فرآیندهای صنعتی پیچیده مورد استفاده قرار گیرد. این امر می‌تواند به افزایش بهره‌وری، کاهش هزینه‌ها و بهبود کیفیت محصولات کمک کند.
• آموزش ربات‌ها در محیط‌های مجازی: کاکتی امکان آموزش ربات‌ها را در محیط‌های مجازی فراهم می‌کند، که می‌تواند به کاهش هزینه‌ها و خطرات آموزش در محیط‌های واقعی کمک کند.
• انتشار مجموعه داده‌ها و معیارهای جدید: نویسندگان قصد دارند مجموعه داده‌ها و معیارهای جدیدی را در هر دو محیط واقعی و شبیه‌سازی‌شده منتشر کنند تا تحقیقات آینده را تسهیل کنند. این امر می‌تواند به تسریع پیشرفت در حوزه یادگیری رباتیک کمک کند.

به عنوان مثال، تصور کنید که یک شرکت تولیدی می‌خواهد خط تولید خود را اتوماتیک کند. با استفاده از چارچوب کاکتی، این شرکت می‌تواند یک ربات را آموزش دهد تا وظایف پیچیده‌ای مانند مونتاژ قطعات، بازرسی کیفیت و بسته‌بندی محصولات را انجام دهد. این کار می‌تواند به طور قابل توجهی بهره‌وری و کیفیت تولید را افزایش دهد.

مقاله “کاکتی: چارچوبی مقیاس‌پذیر برای یادگیری تقلیدی بصریِ چندوظیفه‌ای و چندصحنه‌ای” یک گام مهم در جهت توسعه ربات‌های هوشمندتر و کارآمدتر است. این چارچوب با ارائه یک رویکرد چهار مرحله‌ای برای مقیاس‌بندی یادگیری رباتیک، امکان آموزش سیاست‌های کنترل ربات را در محیط‌های پیچیده و پرهزینه فراهم می‌کند. نتایج تجربی نشان می‌دهد که کاکتی می‌تواند به طور قابل توجهی عملکرد ربات‌ها را در انجام وظایف دستکاری چندوظیفه‌ای و چندصحنه‌ای بهبود بخشد و از پتانسیل بالایی برای کاربردهای عملی برخوردار است. انتشار مجموعه داده‌ها و معیارهای جدید توسط نویسندگان می‌تواند به تسریع پیشرفت در حوزه یادگیری رباتیک کمک کند. در مجموع، این مقاله یک منبع ارزشمند برای محققان و مهندسان فعال در حوزه‌های رباتیک، هوش مصنوعی و یادگیری ماشین است.