یادگیری عمیق به لطف عملکرد بی‌نظیر خود در طیف گسترده‌ای از کاربردهای دنیای واقعی، به سرعت در حال رشد است. در حالی که شبکه‌های عصبی به طور سنتی با استفاده از محاسبات ممیز شناور ۳۲ بیتی (IEEE-754 binary32) آموزش داده شده‌اند، رشد سریع نیازهای محاسباتی در یادگیری عمیق، علاقه به آموزش سریع‌تر و با دقت پایین‌تر را افزایش داده است.

این مقاله به بررسی موضوع مهم گستره بازنمایی (Representation Range) در آموزش شبکه‌های عصبی با استفاده از فرمت‌های ۱۶ بیتی می‌پردازد. با گسترش روزافزون استفاده از شبکه‌های عصبی در کاربردهای مختلف، نیاز به بهینه‌سازی مصرف انرژی و کاهش زمان آموزش این شبکه‌ها بیش از پیش احساس می‌شود. استفاده از فرمت‌های محاسباتی با دقت پایین‌تر، مانند فرمت‌های ۱۶ بیتی، یکی از راه‌های موثر برای دستیابی به این اهداف است. با این حال، کاهش دقت محاسباتی می‌تواند منجر به کاهش کارایی و دقت شبکه‌های عصبی شود. بنابراین، انتخاب فرمت مناسب با گستره بازنمایی کافی، از اهمیت بالایی برخوردار است.

این مقاله تلاش می‌کند تا به این سوالات پاسخ دهد که چه میزان گستره توان برای آموزش شبکه‌های عصبی ۱۶ بیتی مورد نیاز است، آیا فرمتی بین binary16 (با ۵ بیت توان) و bfloat16 (با ۸ بیت توان) وجود دارد که عملکرد بهتری از هر دوی آنها داشته باشد و آیا استفاده از اعداد دنورمال (Denormal numbers) ضروری است یا خیر. پاسخ به این سوالات می‌تواند به طراحی فرمت‌های ۱۶ بیتی بهینه‌تر برای آموزش شبکه‌های عصبی و بهبود کارایی و دقت این شبکه‌ها کمک کند.

این مقاله توسط Valentina Popescu, Abhinav Venigalla, Di Wu, و Robert Schreiber نوشته شده است. این نویسندگان در زمینه‌های هوش مصنوعی، یادگیری ماشین، و آنالیز عددی تخصص دارند. تجارب و دانش آن‌ها در این زمینه‌ها به آن‌ها این امکان را داده است که به بررسی عمیق و دقیق مسائل مربوط به آموزش شبکه‌های عصبی با استفاده از فرمت‌های ۱۶ بیتی بپردازند.

چکیده مقاله به این صورت است: با توجه به رشد سریع یادگیری عمیق و افزایش نیازهای محاسباتی، علاقه به آموزش شبکه‌های عصبی با دقت پایین‌تر افزایش یافته است. در این راستا، استفاده از فرمت‌های ۱۶ بیتی، مانند binary16 و bfloat16، مورد توجه قرار گرفته است. در محاسبات ممیز شناور، بین دقت و گستره بازنمایی، یک بده‌بستان وجود دارد. این مقاله به بررسی نیاز به اعداد دنورمال در آموزش با دقت ترکیبی و ارائه فرمت پیشنهادی 1/6/9 (۶ بیت توان و ۹ بیت مانتیس) می‌پردازد که توازنی بهتر بین گستره و دقت ارائه می‌دهد. نتایج نشان می‌دهد که آموزش با دقت ترکیبی 1/6/9 می‌تواند سرعت آموزش را در سخت‌افزارهایی که در عملیات دنورمال دچار کاهش عملکرد می‌شوند، افزایش دهد و یا نیاز به اعداد دنورمال را به طور کلی از بین ببرد. همچنین، فرمت 1/6/9 در تعدادی از شبکه‌های عصبی کاملاً متصل و کانولوشنال در بینایی ماشین و پردازش زبان طبیعی، به برابری عددی با دقت ترکیبی استاندارد دست می‌یابد.

به طور خلاصه، مقاله بر روی بهینه‌سازی فرمت‌های ۱۶ بیتی برای آموزش شبکه‌های عصبی با هدف کاهش مصرف انرژی و افزایش سرعت آموزش تمرکز دارد. نویسندگان یک فرمت جدید به نام 1/6/9 پیشنهاد می‌کنند و نشان می‌دهند که این فرمت می‌تواند توازنی بهتر بین دقت و گستره بازنمایی ارائه دهد و در نتیجه، کارایی آموزش شبکه‌های عصبی را بهبود بخشد.

در این تحقیق، نویسندگان از ترکیبی از روش‌های تحلیلی و تجربی استفاده کرده‌اند. آن‌ها ابتدا به بررسی نظری فرمت‌های مختلف ۱۶ بیتی و تاثیر آن‌ها بر گستره بازنمایی و دقت محاسباتی پرداخته‌اند. سپس، با استفاده از آزمایش‌های تجربی، عملکرد فرمت پیشنهادی خود (1/6/9) را در آموزش شبکه‌های عصبی مختلف ارزیابی کرده‌اند. این آزمایش‌ها بر روی مجموعه‌های داده استاندارد در زمینه‌های بینایی ماشین و پردازش زبان طبیعی انجام شده‌اند. نویسندگان عملکرد فرمت 1/6/9 را با عملکرد فرمت‌های رایج binary16 و bfloat16 مقایسه کرده‌اند و نشان داده‌اند که فرمت پیشنهادی آن‌ها می‌تواند در برخی موارد، عملکرد بهتری ارائه دهد.

به طور خاص، نویسندگان از شبیه‌سازها و سخت‌افزارهای مختلف برای ارزیابی عملکرد فرمت‌های مختلف استفاده کرده‌اند. آن‌ها همچنین به بررسی تاثیر اعداد دنورمال بر عملکرد شبکه‌های عصبی پرداخته‌اند و نشان داده‌اند که حذف اعداد دنورمال می‌تواند در برخی موارد، سرعت آموزش را افزایش دهد.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• فرمت پیشنهادی 1/6/9 می‌تواند توازنی بهتر بین گستره بازنمایی و دقت محاسباتی نسبت به فرمت‌های رایج binary16 و bfloat16 ارائه دهد. این امر به ویژه در شرایطی که نیاز به گستره بازنمایی بالایی وجود دارد، اهمیت پیدا می‌کند.
• آموزش با دقت ترکیبی 1/6/9 می‌تواند سرعت آموزش را در سخت‌افزارهایی که در عملیات دنورمال دچار کاهش عملکرد می‌شوند، افزایش دهد.
• فرمت 1/6/9 می‌تواند در تعدادی از شبکه‌های عصبی کاملاً متصل و کانولوشنال در بینایی ماشین و پردازش زبان طبیعی، به برابری عددی با دقت ترکیبی استاندارد دست یابد. این بدان معناست که استفاده از این فرمت می‌تواند بدون کاهش دقت، منجر به بهبود کارایی آموزش شبکه‌های عصبی شود.
• حذف اعداد دنورمال می‌تواند در برخی موارد، سرعت آموزش شبکه‌های عصبی را افزایش دهد. با این حال، حذف این اعداد می‌تواند منجر به کاهش دقت در برخی موارد شود.

به عنوان مثال، در یکی از آزمایش‌ها، نویسندگان نشان دادند که استفاده از فرمت 1/6/9 در آموزش یک شبکه عصبی کانولوشنال برای تشخیص تصاویر، منجر به افزایش ۱۵ درصدی سرعت آموزش نسبت به استفاده از فرمت binary16 شده است.

نتایج این تحقیق می‌تواند کاربردهای متعددی داشته باشد. از جمله این کاربردها می‌توان به موارد زیر اشاره کرد:

• بهبود کارایی و سرعت آموزش شبکه‌های عصبی در زمینه‌های مختلف، از جمله بینایی ماشین، پردازش زبان طبیعی، و رباتیک.
• کاهش مصرف انرژی در آموزش و استنتاج شبکه‌های عصبی، که این امر به ویژه در دستگاه‌های سیار و جاسازی شده اهمیت دارد.
• طراحی سخت‌افزارهای بهینه‌تر برای یادگیری عمیق، که از فرمت‌های محاسباتی با دقت پایین‌تر پشتیبانی می‌کنند.

به طور کلی، این تحقیق گامی مهم در جهت توسعه روش‌های کارآمدتر و پایدارتر برای آموزش شبکه‌های عصبی است. با توجه به اهمیت روزافزون یادگیری عمیق در کاربردهای مختلف، بهبود کارایی و پایداری این روش‌ها از اهمیت بالایی برخوردار است.

این مقاله به بررسی الزامات گستره بازنمایی برای آموزش شبکه‌های عصبی ۱۶ بیتی پرداخته و فرمت جدید 1/6/9 را به عنوان یک جایگزین مناسب برای فرمت‌های رایج binary16 و bfloat16 پیشنهاد کرده است. نتایج نشان می‌دهد که فرمت 1/6/9 می‌تواند توازنی بهتر بین گستره بازنمایی و دقت محاسباتی ارائه دهد و در نتیجه، کارایی آموزش شبکه‌های عصبی را بهبود بخشد. این تحقیق می‌تواند به توسعه روش‌های کارآمدتر و پایدارتر برای آموزش شبکه‌های عصبی کمک کند و در زمینه‌های مختلف، از جمله بینایی ماشین، پردازش زبان طبیعی، و رباتیک، کاربرد داشته باشد. به‌ویژه، فرمت پیشنهادی می‌تواند برای پلتفرم‌هایی که بهینه‌سازی مصرف انرژی در آن‌ها حیاتی است، بسیار سودمند باشد. تحقیقات آتی می‌توانند به بررسی عملکرد این فرمت در معماری‌های شبکه‌های عصبی پیچیده‌تر و مجموعه‌داده‌های بزرگتر بپردازند.