ترجمه فارسی مقاله TinyAgent: عملکرد فراخوانی در لبه
عنوان مقاله به انگلیسی
TinyAgent: Function Calling at the Edge
عنوان مقاله به فارسی
TinyAgent: عملکرد فراخوانی در لبه
نویسندگان
Lutfi Eren Erdogan, Nicholas Lee, Siddharth Jha, Sehoon Kim, Ryan Tabrizi, Suhong Moon, Coleman Hooper, Gopala Anumanchipalli, Kurt Keutzer, Amir Gholami
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
Recent large language models (LLMs) have enabled the development of advanced agentic systems that can integrate various tools and APIs to fulfill user queries through function calling. However, the deployment of these LLMs on the edge has not been explored since they typically require cloud-based infrastructure due to their substantial model size and computational demands. To this end, we present TinyAgent, an end-to-end framework for training and deploying task-specific small language model agents capable of function calling for driving agentic systems at the edge. We first show how to enable accurate function calling for open-source models via the LLMCompiler framework. We then systematically curate a high-quality dataset for function calling, which we use to fine-tune two small language models, TinyAgent-1.1B and 7B. For efficient inference, we introduce a novel tool retrieval method to reduce the input prompt length and utilize quantization to further accelerate the inference speed. As a driving application, we demonstrate a local Siri-like system for Apple's MacBook that can execute user commands through text or voice input. Our results show that our models can achieve, and even surpass, the function-calling capabilities of larger models like GPT-4-Turbo, while being fully deployed at the edge. We open-source our dataset, models, and installable package and provide a demo video for our MacBook assistant agent.
چکیده به فارسی (ترجمه ماشینی)
مدلهای بزرگ زبان بزرگ (LLMS) توسعه سیستم های عامل پیشرفته را که می توانند ابزارها و API های مختلفی را برای تحقق نمایش داده های کاربر از طریق فراخوانی عملکردی ادغام کنند ، امکان پذیر کرده است.با این حال ، استقرار این LLM ها در لبه مورد بررسی قرار نگرفته است زیرا آنها به دلیل اندازه قابل توجه مدل و تقاضای محاسباتی ، به طور معمول به زیرساخت های مبتنی بر ابر نیاز دارند.برای این منظور ، ما یک چارچوب پایان به پایان برای آموزش و استقرار عوامل مدل کوچک زبان کوچک وظیفه دارند که قادر به عملکردی هستند که خواستار سیستم های عامل محرک در لبه هستند.ما ابتدا نحوه فعال کردن عملکرد دقیق خواستار مدل های منبع باز از طریق چارچوب LLMCompiler را نشان می دهیم.سپس ما به طور سیستماتیک یک مجموعه داده با کیفیت بالا را برای تماس با عملکرد ، که ما برای تنظیم دقیق دو مدل زبان کوچک ، TinyAgent-1.1b و 7b استفاده می کنیم ، تهیه می کنیم.برای استنباط کارآمد ، ما یک روش بازیابی ابزار جدید را برای کاهش طول سریع ورودی و استفاده از کمیت برای تسریع بیشتر سرعت استنتاج معرفی می کنیم.به عنوان یک برنامه رانندگی ، ما یک سیستم محلی شبیه Siri را برای MacBook اپل نشان می دهیم که می تواند دستورات کاربر را از طریق متن یا ورودی صدا اجرا کند.نتایج ما نشان می دهد که مدل های ما می توانند از قابلیت های عملکردی مدل های بزرگتر مانند GPT-4-Turbo ، در حالی که کاملاً در لبه مستقر شده اند ، به دست بیاورند و حتی از آن فراتر رود.ما مجموعه داده ها ، مدل ها و بسته های قابل نصب خود را باز می کنیم و یک فیلم نسخه ی نمایشی را برای نماینده MacBook ما ارائه می دهیم.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
