ترجمه فارسی مقاله درباره ماهیت و چشم انداز: بررسی رویکردهای همسویی برای مدل های بزرگ

چکیده

Big models have achieved revolutionary breakthroughs in the field of AI, but they might also pose potential concerns. Addressing such concerns, alignment technologies were introduced to make these models conform to human preferences and values. Despite considerable advancements in the past year, various challenges lie in establishing the optimal alignment strategy, such as data cost and scalable oversight, and how to align remains an open question. In this survey paper, we comprehensively investigate value alignment approaches. We first unpack the historical context of alignment tracing back to the 1920s (where it comes from), then delve into the mathematical essence of alignment (what it is), shedding light on the inherent challenges. Following this foundation, we provide a detailed examination of existing alignment methods, which fall into three categories: Reinforcement Learning, Supervised Fine-Tuning, and In-context Learning, and demonstrate their intrinsic connections, strengths, and limitations, helping readers better understand this research area. In addition, two emerging topics, personal alignment, and multimodal alignment, are also discussed as novel frontiers in this field. Looking forward, we discuss potential alignment paradigms and how they could handle remaining challenges, prospecting where future alignment will go.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ در زمینه هوش مصنوعی به پیشرفت های انقلابی رسیده اند ، اما ممکن است نگرانی های احتمالی نیز ایجاد کنند.با پرداختن به چنین نگرانی ها ، فن آوری های تراز معرفی شدند تا این مدل ها مطابق با ترجیحات و ارزش های انسانی باشند.علیرغم پیشرفت های قابل توجه در سال گذشته ، چالش های مختلف در ایجاد استراتژی بهینه تراز ، مانند هزینه داده ها و نظارت مقیاس پذیر و چگونگی تراز کردن یک سؤال باز است.در این مقاله نظرسنجی ، ما به طور جامع رویکردهای تراز ارزش را بررسی می کنیم.ما ابتدا زمینه تاریخی ردیابی تراز را به دهه 1920 باز می کنیم (از آنجا که از آن ناشی می شود) ، سپس به ذات ریاضی تراز (آنچه در آن است) می پردازیم و بر چالش های ذاتی می گذارند.به دنبال این بنیاد ، ما یک بررسی دقیق از روشهای تراز موجود ارائه می دهیم ، که در سه دسته قرار می گیرند: یادگیری تقویت ، تنظیم دقیق و یادگیری درون متن ، و نشان دادن اتصالات ذاتی ، نقاط قوت و محدودیت های آنها ، به خوانندگان کمک می کند تا این موضوع را بهتر درک کنندمنطقه تحقیقاتیعلاوه بر این ، دو موضوع در حال ظهور ، تراز شخصی و تراز چند حالته نیز به عنوان مرزهای جدید در این زمینه مورد بحث قرار می گیرد.با نگاهی به جلو ، ما در مورد الگوی احتمالی تراز و چگونگی برخورد آنها با چالش های باقی مانده بحث می کنیم ، و به دنبال این هستیم که در آینده تراز آینده قرار خواهد گرفت.