ترجمه فارسی مقاله تفسیر مکانیکی از استدلال هادی در مدل های زبان اتخاذ کننده خودکار

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی A Mechanistic Interpretation of Syllogistic Reasoning in Auto-Regressive Language Models
عنوان مقاله به فارسی تفسیر مکانیکی از استدلال هادی در مدل های زبان اتخاذ کننده خودکار
نویسندگان Geonhee Kim, Marco Valentino, André Freitas
فرمت مقاله انگلیسی PDF
تعداد صفحات 17
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computation and Language,Artificial Intelligence,Machine Learning,محاسبه و زبان , هوش مصنوعی , یادگیری ماشین ,
توضیحات Submitted 16 August, 2024; originally announced August 2024.
توضیحات به فارسی ارائه شده 16 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Recent studies on logical reasoning in auto-regressive Language Models (LMs) have sparked a debate on whether such models can learn systematic reasoning principles during pre-training or merely exploit superficial patterns in the training data. This paper presents a mechanistic interpretation of syllogistic reasoning in LMs to further enhance our understanding of internal dynamics. Specifically, we present a methodology for circuit discovery aimed at disentangling content-independent reasoning mechanisms from world knowledge acquired during pre-training. Through two distinct intervention methods, we uncover a sufficient and necessary circuit involving middle-term suppression that elucidates how LMs transfer information to derive valid conclusions from premises. Furthermore, we investigate how belief biases manifest in syllogistic reasoning, finding evidence of partial contamination from additional attention heads responsible for encoding commonsense and contextualized knowledge. Finally, we explore the generalization of the discovered mechanisms across various syllogistic schemes and model sizes, finding that the identified circuit is sufficient and necessary for all the schemes on which the model achieves high downstream accuracy ($\geq$ 60\%). Overall, our findings suggest that LMs indeed learn transferable content-independent reasoning mechanisms, but that, at the same time, such mechanisms do not involve generalisable and abstract logical primitives, being susceptible to contamination by the same world knowledge acquired during pre-training.

چکیده به فارسی (ترجمه ماشینی)

مطالعات اخیر در مورد استدلال منطقی در مدل های زبان تهاجمی خودکار (LMS) بحثی را در مورد اینکه آیا چنین مدلهایی می توانند اصول استدلال سیستماتیک را در طول قبل از آموزش یاد بگیرند یا صرفاً از الگوهای سطحی در داده های آموزش یاد بگیرند ، برانگیخته است.در این مقاله تفسیری مکانیکی از استدلال هادی در LMS ارائه شده است تا درک ما از پویایی داخلی را بیشتر کند.به طور خاص ، ما یک متدولوژی برای کشف مدار با هدف جدا کردن مکانیسم های استدلال مستقل از محتوا از دانش جهانی که در طول قبل از آموزش به دست آمده است ، ارائه می دهیم.از طریق دو روش مداخله متمایز ، ما یک مدار کافی و لازم را شامل می کنیم که شامل سرکوب میانی است که نحوه انتقال اطلاعات LMS را برای به دست آوردن نتیجه گیری معتبر از محل ، روشن می کند.علاوه بر این ، ما بررسی می کنیم که چگونه تعصبات اعتقاد در استدلال هجوم آشکار می شوند ، و شواهدی از آلودگی جزئی از سرهای توجه اضافی که مسئول رمزگذاری دانش عوام و متنی هستند ، می یابند.سرانجام ، ما تعمیم مکانیسم های کشف شده در طرح های مختلف هجوم و اندازه مدل را بررسی می کنیم ، و می یابیم که مدار شناسایی شده برای تمام طرح هایی که مدل بر روی آن به دقت پایین دست دست می یابد ($ 60 $ 60 \ $) کافی و ضروری است.به طور کلی ، یافته های ما نشان می دهد که LM ها در واقع مکانیسم های استدلال مستقل از محتوای قابل انتقال را یاد می گیرند ، اما در عین حال ، چنین مکانیسم هایی شامل ابتدایی منطقی قابل تعمیم و انتزاعی نیستند ، و مستعد آلودگی توسط همان دانش جهانی است که در طول پیش از آموزش به دست می آیند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.