فلش‌کارت‌های آموزشی رازهای سخت‌افزاری پشت پرده LLMs: از GPU تا TPU

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره رازهای سخت‌افزاری پشت پرده LLMs: از GPU تا TPU

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: سخت‌افزار مورد نیاز برای آموزش LLMs (GPU, TPU)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر آموزش مدل‌های زبانی بزرگ و نیاز به سخت‌افزار قدرتمند
• 2. مروری بر معماری‌های LLM و تاثیر آن‌ها بر نیازهای سخت‌افزاری
• 3. مقدمه‌ای بر پردازنده‌های گرافیکی (GPU)
• 4. معماری GPU: هسته‌ها، حافظه و پهنای باند
• 5. تفاوت‌های کلیدی GPUهای NVIDIA، AMD و Intel برای آموزش LLM
• 6. محاسبات ممیز شناور (Floating-Point) و دقت‌های مختلف (FP32, FP16, BF16)
• 7. CUDA و اکوسیستم نرم‌افزاری NVIDIA برای یادگیری عمیق
• 8. بهینه‌سازی‌های نرم‌افزاری برای استفاده حداکثری از GPU در LLM
• 9. مقدمه‌ای بر واحد‌های پردازش تانسور (TPU)
• 10. معماری TPU: طراحی سفارشی برای یادگیری عمیق
• 11. مقایسه TPU با GPU: نقاط قوت و ضعف
• 12. نسل‌های مختلف TPU و بهبود عملکرد آن‌ها
• 13. TensorFlow و اکوسیستم نرم‌افزاری TPU
• 14. استفاده از TPU در Google Cloud برای آموزش LLM
• 15. محاسبات ماتریسی و برداری در LLM: چرا GPU و TPU مناسب هستند؟
• 16. مفهوم موازی‌سازی داده و مدل در آموزش LLM
• 17. استراتژی‌های موازی‌سازی مدل: Data Parallelism, Model Parallelism, Pipeline Parallelism
• 18. مفهوم Sharding و کاربرد آن در آموزش LLMهای بزرگ
• 19. بهینه‌سازی مصرف حافظه در آموزش LLM
• 20. استفاده از حافظه مجازی (Virtual Memory) و Swap Space
• 21. اهمیت پهنای باند حافظه در عملکرد LLM
• 22. معرفی اینترفیس‌های ارتباطی پرسرعت (NVLink, PCIe)
• 23. سیستم‌های خنک‌کننده برای GPU و TPU: اهمیت و انواع
• 24. تامین انرژی و مدیریت توان در مراکز داده LLM
• 25. مفهوم Quantization و تاثیر آن بر نیازهای سخت‌افزاری
• 26. آموزش با دقت پایین (Low-Precision Training)
• 27. Distillation و کاهش اندازه مدل
• 28. بررسی سخت‌افزارهای مورد نیاز برای آموزش مدل‌های مختلف LLM (مثلا GPT-3, LLaMA)
• 29. تخمین هزینه آموزش LLM بر اساس سخت‌افزار مورد استفاده
• 30. آینده سخت‌افزار LLM: معماری‌های نوظهور و ترندها
• 31. محاسبات فوتونیک و تاثیر آن بر سرعت پردازش
• 32. معماری‌های Neuromorphic و یادگیری الهام‌گرفته از مغز
• 33. استفاده از FPGAها برای تسریع آموزش LLM
• 34. چالش‌های مقیاس‌پذیری در آموزش LLM
• 35. ابزارهای مانیتورینگ و پروفایلینگ عملکرد GPU و TPU
• 36. بهینه‌سازی کد برای استفاده کارآمد از سخت‌افزار
• 37. معرفی کتابخانه‌های بهینه‌سازی سخت‌افزاری (cuDNN, cuBLAS)
• 38. استفاده از Cloud Computing برای دسترسی به سخت‌افزارهای پیشرفته
• 39. مقایسه سرویس‌های ابری مختلف برای آموزش LLM (AWS, Azure, GCP)
• 40. انتخاب سخت‌افزار مناسب برای پروژه LLM: معیارهای کلیدی
• 41. بررسی موردی: آموزش یک مدل LLM کوچک با GPU
• 42. بررسی موردی: آموزش یک مدل LLM بزرگ با TPU