ترجمه فارسی مقاله تأثیرات عدم وابستگی ممیز شناور بر تکرارپذیری برای کاربردهای HPC و یادگیری عمیق

چکیده

Run-by-run variability in parallel programs caused by floating-point non-associativity (FPNA) has been known to significantly affect reproducibility in iterative algorithms, due to accumulating errors. Non-reproducibility negatively affects efficiency and effectiveness of correctness testing for stochastic programs. Recently, the sensitivity of deep learning (DL) training and inference pipelines to FPNA have been found to be extreme, and can prevent certification for commercial applications, accurate assessment of robustness and sensitivity, and bug detection. New approaches in scientific computing applications have coupled DL models with high-performance computing (HPC) simulations, leading to an aggravation of debugging and testing challenges. Here we perform an investigation of the statistical properties of FPNA within modern parallel programming models, analyze performance and productivity impacts of replacing atomic operations with deterministic alternatives on GPUs, and examine the recently-added deterministic options within the PyTorch framework within the context of GPU deployment, uncovering and quantifying the impacts of input parameters triggering run-by-run variability and reporting on the reliability and completeness of the documentation. Finally, we evaluate the strategy of exploiting automatic determinism provided by deterministic hardware, using the Groq LPU$^{TM}$ accelerator for inference portions of the DL pipeline. We demonstrate the benefits that this strategy can provide within reproducibility and correctness efforts.

چکیده به فارسی (ترجمه ماشینی)

تغییرپذیری اجرا در برنامه های موازی ناشی از عدم پیوند نقطه شناور (FPNA) شناخته شده است که به دلیل انباشت خطاها ، به طور قابل توجهی بر تکرارپذیری در الگوریتم های تکراری تأثیر می گذارد.عدم تولید مجدد تأثیر منفی بر کارآیی و اثربخشی آزمایش صحت برای برنامه های تصادفی دارد.به تازگی ، حساسیت به آموزش عمیق (DL) آموزش و خطوط لوله استنباط به FPNA شدید است و می تواند از صدور گواهینامه برای کاربردهای تجاری ، ارزیابی دقیق استحکام و حساسیت و تشخیص اشکال جلوگیری کند.رویکردهای جدید در برنامه های محاسبات علمی مدل های DL را با شبیه سازی محاسبات با کارایی بالا (HPC) همراه کرده اند و منجر به تشدید چالش های اشکال زدایی و آزمایش می شوند.در اینجا ما یک بررسی از خصوصیات آماری FPNA در مدلهای برنامه نویسی موازی مدرن انجام می دهیم ، عملکرد و تأثیرات بهره وری در جایگزینی عملیات اتمی با گزینه های تعیین کننده در GPU را تجزیه و تحلیل می کنیم و گزینه های تعیین کننده اخیراً در چارچوب Pytorch را در چارچوب Pytorch در چارچوب Deploy Deployment GPU بررسی می کنیم.، پرده برداری و کمیت تأثیرات پارامترهای ورودی باعث تغییرپذیری اجرا و گزارش در مورد قابلیت اطمینان و کامل بودن مستندات می شود.سرانجام ، ما استراتژی سوءاستفاده از تعیین کننده خودکار ارائه شده توسط سخت افزار قطعی را با استفاده از Groq LPU $^{TM} $ برای بخش های استنتاج خط لوله DL ارزیابی می کنیم.ما مزایایی را که این استراتژی می تواند در تلاش های تکرارپذیری و صحت ارائه دهد ، نشان می دهیم.