Artificial Intelligence,Computation and Language,Human-Computer Interaction,Machine Learning,Sound,Audio and Speech Processing,هوش مصنوعی , محاسبات و زبان , تعامل انسان و رایانه , یادگیری ماشین , صدا , پردازش صوتی و گفتار ,
توضیحات
Submitted 29 August, 2024; v1 submitted 29 August, 2024; originally announced August 2024. , Comments: Technical report, work in progress. Demo and code: https://github.com/gpt-omni/mini-omni
توضیحات به فارسی
ارسال شده 29 اوت 2024 ؛V1 ارسال شده 29 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد ، نظرات: گزارش فنی ، کار در حال انجام.نسخه ی نمایشی و کد: https://github.com/gpt-omni/mini-omni
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
Recent advances in language models have achieved significant progress. GPT-4o, as a new milestone, has enabled real-time conversations with humans, demonstrating near-human natural fluency. Such human-computer interaction necessitates models with the capability to perform reasoning directly with the audio modality and generate output in streaming. However, this remains beyond the reach of current academic models, as they typically depend on extra TTS systems for speech synthesis, resulting in undesirable latency. This paper introduces the Mini-Omni, an audio-based end-to-end conversational model, capable of real-time speech interaction. To achieve this capability, we propose a text-instructed speech generation method, along with batch-parallel strategies during inference to further boost the performance. Our method also helps to retain the original model's language capabilities with minimal degradation, enabling other works to establish real-time interaction capabilities. We call this training method "Any Model Can Talk". We also introduce the VoiceAssistant-400K dataset to fine-tune models optimized for speech output. To our best knowledge, Mini-Omni is the first fully end-to-end, open-source model for real-time speech interaction, offering valuable potential for future research.
چکیده به فارسی (ترجمه ماشینی)
پیشرفت های اخیر در مدل های زبان به پیشرفت چشمگیری رسیده است.GPT-4O ، به عنوان یک نقطه عطف جدید ، مکالمات در زمان واقعی با انسان را فعال کرده است و نشان دهنده تسلط طبیعی تقریباً انسانی است.چنین تعامل انسان و رایانه ای مدلهایی را با توانایی انجام استدلال مستقیم با روش صوتی و تولید خروجی در جریان نیاز دارد.با این حال ، این فراتر از دسترس مدلهای دانشگاهی فعلی است ، زیرا آنها به طور معمول به سیستم های TTS اضافی برای سنتز گفتار بستگی دارند و در نتیجه تأخیر نامطلوب ایجاد می شود.در این مقاله ، مینی امنی ، یک مدل مکالمه نهایی به انتهایی مبتنی بر صدا ، قادر به تعامل گفتار در زمان واقعی است.برای دستیابی به این توانایی ، ما یک روش تولید گفتار با بیان متن را به همراه استراتژی های موازی دسته ای در حین استنتاج پیشنهاد می کنیم تا عملکرد را تقویت کنیم.روش ما همچنین به حفظ قابلیت های زبان مدل اصلی با حداقل تخریب کمک می کند و سایر آثار را قادر می سازد تا قابلیت های تعامل در زمان واقعی را ایجاد کنند.ما این روش آموزش را "هر مدل می تواند صحبت کند" می نامیم.ما همچنین مجموعه داده های VoiceAssistant-400K را به مدل های تنظیم شده بهینه شده برای خروجی گفتار معرفی می کنیم.به بهترین دانش ما ، Mini-omni اولین مدل کاملاً پایان به پایان و منبع باز برای تعامل گفتار در زمان واقعی است و پتانسیل ارزشمندی را برای تحقیقات آینده ارائه می دهد.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
