کتاب صوتی یادگیری خودنظارتی و کاربردهای آن

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره یادگیری خودنظارتی و کاربردهای آن

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر برنامه نویسی با کارایی بالا (HPC)
• 2. چرا به محاسبات موازی نیاز داریم؟
• 3. مفاهیم اصلی معماری کامپیوتر برای HPC (CPU, GPU)
• 4. سلسله مراتب حافظه و تاثیر آن بر کارایی
• 5. اندازه‌گیری کارایی و معیارهای سنجش (FLOPS, Throughput, Latency)
• 6. قانون امدال و محدودیت‌های موازی‌سازی
• 7. مقدمه‌ای بر OpenMP: برنامه نویسی حافظه مشترک
• 8. همگام‌سازی و قفل‌ها در OpenMP
• 9. زمان‌بندی حلقه‌ها و بخش‌ها در OpenMP
• 10. آشنایی با MPI: برنامه نویسی حافظه توزیع شده
• 11. ارتباطات نقطه‌به‌نقطه در MPI (Send, Recv)
• 12. ارتباطات جمعی در MPI (Broadcast, Reduce, Scatter, Gather)
• 13. توپولوژی‌های ارتباطی در MPI
• 14. مقدمه‌ای بر GPU Computing و CUDA
• 15. معماری CUDA: هسته‌ها، بلاک‌ها، گرید‌ها
• 16. مدیریت حافظه در CUDA (Global, Shared, Constant, Texture)
• 17. نوشتن اولین کرنل CUDA
• 18. بهینه‌سازی دسترسی به حافظه در CUDA
• 19. مقدمه‌ای بر OpenCL و پلتفرم‌های ناهمگون
• 20. پروفایلینگ و ابزارهای تحلیل کارایی در HPC
• 21. مقدمه‌ای بر یادگیری ماشین و یادگیری عمیق
• 22. تمایز بین یادگیری نظارت شده، نظارت نشده و خودنظارتی
• 23. چرا یادگیری خودنظارتی: مزایا و چالش‌ها
• 24. مفهوم یادگیری بازنمایی (Representation Learning)
• 25. وظایف پیش‌بینی (Pretext Tasks) در یادگیری خودنظارتی
• 26. یادگیری خودنظارتی مبتنی بر تولید (Generative SSL)
• 27. رمزگشاهای خودکار و انواع آن‌ها (Autoencoders)
• 28. یادگیری خودنظارتی مبتنی بر کنتراست (Contrastive SSL)
• 29. SimCLR: چارچوبی برای یادگیری خودنظارتی کنتراستی
• 30. MoCo: یادگیری کنتراستی با صف دینامیک
• 31. BYOL و SimSiam: روش‌های خودنظارتی بدون نمونه‌های منفی
• 32. MAE: رمزگذار خودکار ماسک شده برای بینایی کامپیوتر
• 33. BERT: مدل پیش‌آموزش دیده برای پردازش زبان طبیعی
• 34. Wav2Vec 2.0: یادگیری خودنظارتی برای گفتار
• 35. استراتژی‌های افزایش داده (Data Augmentation) برای SSL
• 36. توابع زیان (Loss Functions) رایج در SSL
• 37. ارزیابی کیفیت بازنمایی‌های یادگرفته شده
• 38. انتقال یادگیری (Transfer Learning) از مدل‌های SSL
• 39. معماری‌های رایج شبکه عصبی در SSL (CNN, Transformer)
• 40. چالش‌های مقیاس‌پذیری داده در SSL
• 41. نیاز به HPC در مقیاس‌های بزرگ یادگیری خودنظارتی
• 42. تنگناهای محاسباتی در آموزش مدل‌های SSL بزرگ
• 43. مدیریت حافظه برای مدل‌ها و دسته‌های داده بزرگ
• 44. آموزش موازی داده‌ها (Data Parallelism) برای SSL
• 45. آموزش موازی مدل‌ها (Model Parallelism) برای SSL
• 46. MPI برای آموزش توزیع شده یادگیری خودنظارتی
• 47. PyTorch Distributed و TensorFlow Distributed برای SSL
• 48. بهینه‌سازی ارتباطات در آموزش توزیع شده
• 49. استفاده از دقت ترکیبی (Mixed Precision Training)
• 50. جمع‌آوری گرادیان (Gradient Accumulation) برای دسته‌های بزرگ
• 51. بهینه‌سازهای کارآمد برای مدل‌های بزرگ (LAMB, LARS)
• 52. شتاب‌دهنده‌های سخت‌افزاری اختصاصی (TPU, AI Accelerators)
• 53. استراتژی‌های کاهش سربار ارتباطی در MPI/NCCL
• 54. طراحی زیرساخت کلاستر برای آموزش SSL
• 55. مدیریت منابع و زمان‌بندی (Slurm, Kubernetes)
• 56. سیستم‌های فایل با کارایی بالا (Lustre, GPFS)
• 57. پردازش موازی داده‌ها: ETL برای SSL در مقیاس
• 58. کانتینر‌سازی برای تکرارپذیری HPC-SSL (Docker, Singularity)
• 59. نظارت و لاگ‌گیری در آموزش‌های توزیع شده
• 60. ایمن‌سازی و مدیریت دسترسی در محیط‌های HPC
• 61. بهینه‌سازی عملیات تنسور در GPU برای SSL
• 62. توسعه کرنل‌های سفارشی CUDA برای لایه‌های خاص SSL
• 63. استفاده از تنسور کورها (Tensor Cores) برای سرعت بخشیدن به محاسبات
• 64. بهینه‌سازی الگوریتم‌های ارتباطی (NCCL, Gloo)
• 65. استراتژی‌های پیشرفته پارامتر سرور (Parameter Servers)
• 66. آموزش مدل‌های SSL بر روی چندین نود GPU
• 67. آموزش ناهمزمان (Asynchronous Training) در SSL
• 68. استفاده از حافظه‌های HBM (High Bandwidth Memory)
• 69. تکنیک‌های کاهش حافظه (Memory Reduction) در مدل‌های بزرگ
• 70. فشرده‌سازی مدل و کوانتیزاسیون برای استنتاج سریع‌تر SSL
• 71. بهینه‌سازی ورودی/خروجی (I/O) برای مجموعه‌های داده عظیم
• 72. استفاده از Dask یا Spark برای پیش‌پردازش داده‌های SSL
• 73. مدیریت و ارکستراسیون ورک‌فلوها (Airflow, MLflow)
• 74. عیب‌یابی مشکلات کارایی در سیستم‌های HPC-SSL
• 75. استراتژی‌های تحمل خطا در آموزش توزیع شده
• 76. برنامه‌نویسی موازی با OpenACC برای GPU (جایگزین CUDA)
• 77. ترکیب MPI و OpenMP برای بهینه‌سازی هیبریدی
• 78. استفاده از NVIDIA DALI برای بهینه‌سازی پایپ‌لاین داده
• 79. بهینه‌سازی بارگذاری مدل‌های از پیش آموزش دیده (Pre-trained Models)
• 80. تحلیل مصرف انرژی و پایداری در HPC-SSL
• 81. کاربردهای یادگیری خودنظارتی در بینایی کامپیوتر (Computer Vision)
• 82. کاربردهای یادگیری خودنظارتی در پردازش زبان طبیعی (NLP)
• 83. کاربردهای یادگیری خودنظارتی در پردازش گفتار و صوت
• 84. کاربردهای یادگیری خودنظارتی در پزشکی و زیست‌شناسی
• 85. یادگیری خودنظارتی برای تحلیل داده‌های علمی و شبیه‌سازی‌ها
• 86. یادگیری خودنظارتی در رباتیک و کنترل
• 87. یادگیری خودنظارتی در محیط‌های کم‌داده (Low-Data Regimes)
• 88. یادگیری چندوجهی (Multimodal Learning) با SSL و HPC
• 89. یادگیری چندوظیفه‌ای (Multi-task Learning) مبتنی بر SSL
• 90. استخراج دانش از مدل‌های خودنظارتی بزرگ (Knowledge Distillation)
• 91. مقابله با سوگیری‌ها (Bias) و انصاف (Fairness) در SSL
• 92. حریم خصوصی و امنیت داده‌ها در آموزش SSL مقیاس‌پذیر
• 93. تفسیرپذیری و توضیح‌پذیری مدل‌های SSL (XAI for SSL)
• 94. آینده یادگیری خودنظارتی: مدل‌های بنیادی (Foundation Models)
• 95. نقش محاسبات کوانتومی در HPC و SSL (آینده‌نگر)
• 96. مروری بر پلتفرم‌های ابری برای HPC-SSL (AWS, Azure, GCP)
• 97. تحقیقات جدید در بهینه‌سازی سخت‌افزار-نرم‌افزار برای SSL
• 98. چالش‌ها و مسائل حل نشده در HPC-SSL
• 99. طراحی یک پایپ‌لاین end-to-end برای توسعه SSL با HPC
• 100. آینده برنامه نویسی با کارایی بالا و یادگیری خودنظارتی