کتاب صوتی بهینه‌سازی الگوریتم‌های پردازش زبان طبیعی در یادگیری عمیق

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی الگوریتم‌های پردازش زبان طبیعی در یادگیری عمیق

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش زبان طبیعی (NLP)
• 2. مقدمه‌ای بر یادگیری عمیق (DL)
• 3. معماری‌های پایه‌ی شبکه‌های عصبی
• 4. شبکه‌های عصبی بازگشتی (RNNs)
• 5. شبکه‌های حافظه کوتاه مدت و طولانی مدت (LSTMs)
• 6. واحدهای بازگشتی دروازه‌دار (GRUs)
• 7. شبکه‌های عصبی پیچشی (CNNs) برای NLP
• 8. الگوریتم‌های توجه (Attention Mechanisms)
• 9. انواع مدل‌های توجه
• 10. خود-توجهی (Self-Attention)
• 11. ترانسفورمرها (Transformers)
• 12. کاربردهای اولیه ترانسفورمرها
• 13. پیش‌پردازش متن
• 14. توکنیزه کردن (Tokenization)
• 15. حذف کلمات توقف (Stop Word Removal)
• 16. ریشه‌یابی (Stemming) و لماتیزه کردن (Lemmatization)
• 17. کیسه‌ کلمات (Bag-of-Words)
• 18. TF-IDF
• 19. تعبیه‌های کلمه (Word Embeddings)
• 20. Word2Vec
• 21. GloVe
• 22. FastText
• 23. تعبیه‌های پویا (Dynamic Embeddings)
• 24. جاسازی‌های معنایی (Semantic Embeddings)
• 25. روش‌های ارزیابی مدل‌های NLP
• 26. متریک‌های دقت، فراخوانی و F1-Score
• 27. متریک‌های BLEU و ROUGE
• 28. متریک‌های Perplexity
• 29. مقدمه‌ای بر محاسبات سطح بالا (HPC)
• 30. مبانی معماری کامپیوتر
• 31. حافظه و کش (Cache)
• 32. پردازنده‌های گرافیکی (GPUs)
• 33. موازی‌سازی (Parallelism)
• 34. همزمانی (Concurrency)
• 35. موازی‌سازی داده (Data Parallelism)
• 36. موازی‌سازی مدل (Model Parallelism)
• 37. هماهنگ‌سازی (Synchronization)
• 38. موانع (Barriers)
• 39. قفل‌ها (Locks)
• 40. رشته‌ها (Threads)
• 41. پردازش موازی (Parallel Processing)
• 42. پردازش توزیع شده (Distributed Processing)
• 43. ارتباطات بین پردازنده‌ای (Inter-process Communication - IPC)
• 44. پروتکل‌های ارتباطی
• 45. MPI (Message Passing Interface)
• 46. NCCL (Nvidia Collective Communications Library)
• 47. Frameworkهای یادگیری عمیق برای HPC
• 48. TensorFlow
• 49. PyTorch
• 50. Keras
• 51. پشتیبانی از GPU در Frameworkها
• 52. تنظیمات محیطی برای HPC
• 53. بهینه‌سازی سخت‌افزاری
• 54. مدیریت حافظه GPU
• 55. مدیریت حافظه CPU
• 56. بهینه‌سازی الگوریتم‌های یادگیری عمیق
• 57. کاهش پیچیدگی زمانی الگوریتم‌ها
• 58. کاهش پیچیدگی فضایی الگوریتم‌ها
• 59. کاهش اندازه مدل‌ها
• 60. تقطیر دانش (Knowledge Distillation)
• 61. کوچک‌سازی مدل (Model Pruning)
• 62. کوانتیزاسیون (Quantization)
• 63. تکنیک‌های گرادیان
• 64. انتشار معکوس (Backpropagation)
• 65. بهینه‌سازی گرادیان نزولی (Stochastic Gradient Descent - SGD)
• 66. بهینه‌سازهای پیشرفته (Adam, RMSprop)
• 67. اندازه بچ (Batch Size) و تأثیر آن
• 68. یادگیری با نرخ متغیر (Learning Rate Scheduling)
• 69. تنظیم فراپارامترها (Hyperparameter Tuning)
• 70. تحلیل گلوگاه‌های محاسباتی (Computational Bottlenecks)
• 71. شناسایی نقاط کند در اجرای مدل
• 72. پروفایلینگ (Profiling) کد
• 73. مانیتورینگ استفاده از منابع (GPU, CPU, Memory)
• 74. استفاده از ابزارهای پروفایلینگ (Nsight, PyTorch Profiler)
• 75. کدنویسی بهینه برای GPU
• 76. عملیات تنسوری کارآمد
• 77. دسترسی به حافظه بهینه
• 78. اجتناب از عملیات غیرضروری
• 79. استفاده از CUDA C++
• 80. برنامه‌نویسی موازی با CUDA
• 81. کرنل‌های CUDA (CUDA Kernels)
• 82. مدیریت حافظه در CUDA
• 83. همگام‌سازی در CUDA
• 84. بهینه‌سازی لایه‌های مدل
• 85. بهینه‌سازی لایه‌های کانولوشنی
• 86. بهینه‌سازی لایه‌های بازگشتی
• 87. بهینه‌سازی لایه‌های ترانسفورمر
• 88. بهینه‌سازی لایه‌های توجه
• 89. اجرای موازی مدل‌های NLP
• 90. موازی‌سازی داده در آموزش مدل‌های NLP
• 91. موازی‌سازی مدل در آموزش مدل‌های NLP
• 92. موازی‌سازی ترکیبی
• 93. موازی‌سازی Pipeline
• 94. کاربرد HPC در وظایف خاص NLP
• 95. ترجمه ماشینی ماشینی (Machine Translation)
• 96. خلاصه‌سازی متن (Text Summarization)
• 97. پاسخ به سوال (Question Answering)
• 98. تشخیص موجودیت نام‌دار (Named Entity Recognition - NER)
• 99. تحلیل احساسات (Sentiment Analysis)
• 100. تولید متن (Text Generation)