ترجمه فارسی مقاله بعد از ترانسفورماتورها چه می‌آید؟ — یک بررسی گزینشی که ایده‌ها را در یادگیری عمیق به هم مرتبط می‌کند

چکیده

Transformers have become the de-facto standard model in artificial intelligence since 2017 despite numerous shortcomings ranging from energy inefficiency to hallucinations. Research has made a lot of progress in improving elements of transformers, and, more generally, deep learning manifesting in many proposals for architectures, layers, optimization objectives, and optimization techniques. For researchers it is difficult to keep track of such developments on a broader level. We provide a comprehensive overview of the many important, recent works in these areas to those who already have a basic understanding of deep learning. Our focus differs from other works, as we target specifically novel, alternative potentially disruptive approaches to transformers as well as successful ideas of recent deep learning. We hope that such a holistic and unified treatment of influential, recent works and novel ideas helps researchers to form new connections between diverse areas of deep learning. We identify and discuss multiple patterns that summarize the key strategies for successful innovations over the last decade as well as works that can be seen as rising stars. Especially, we discuss attempts on how to improve on transformers covering (partially) proven methods such as state space models but also including far-out ideas in deep learning that seem promising despite not achieving state-of-the-art results. We also cover a discussion on recent state-of-the-art models such as OpenAI’s GPT series and Meta’s LLama models and, Google’s Gemini model family.

چکیده به فارسی (ترجمه ماشینی)

ترانسفورماتورها از سال 2017 با وجود کاستی های بی شماری از ناکارآمدی انرژی گرفته تا توهم ، به الگوی استاندارد de-facto در هوش مصنوعی تبدیل شده اند.تحقیقات در بهبود عناصر ترانسفورماتورها و به طور کلی ، یادگیری عمیق در بسیاری از پیشنهادات برای معماری ، لایه ها ، اهداف بهینه سازی و تکنیک های بهینه سازی پیشرفت زیادی داشته است.برای محققان ، پیگیری چنین تحولات در سطح وسیع تری دشوار است.ما یک مرور کلی از بسیاری از آثار مهم و اخیر در این زمینه ها برای کسانی که قبلاً درک اساسی از یادگیری عمیق دارند ، ارائه می دهیم.تمرکز ما با سایر آثار متفاوت است ، همانطور که ما به طور خاص جدید ، رویکردهای مختلفی برای ترانسفورماتورها و همچنین ایده های موفق یادگیری عمیق اخیر را هدف قرار می دهیم.ما امیدواریم که چنین رفتار جامع و یکپارچه با آثار تأثیرگذار ، اخیر و ایده های جدید به محققان کمک کند تا ارتباطات جدیدی بین مناطق متنوع یادگیری عمیق برقرار کنند.ما الگوهای مختلفی را که خلاصه استراتژی های کلیدی برای نوآوری های موفق طی یک دهه گذشته و همچنین آثاری است که می توانند به عنوان ستاره های در حال افزایش تلقی می شوند ، شناسایی و بحث می کنیم.به خصوص ، ما در مورد تلاش برای چگونگی بهبود در ترانسفورماتورهای پوشش دهنده (جزئی) اثبات شده مانند مدل های فضایی دولتی بلکه همچنین ایده های دور در یادگیری عمیق که به نظر نمی رسد امیدوار کننده به نظر برسند ، بحث می کنیم.ما همچنین بحثی را در مورد مدلهای مدرن اخیر مانند سری GPT OpenAi و مدل های Llama Meta و خانواده Gemini Model Google ارائه می دهیم.