فلش‌کارت‌های آموزشی استفاده از کتابخانه‌های تخصصی NLP برای HPC

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استفاده از کتابخانه‌های تخصصی NLP برای HPC

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه: همگرایی پردازش زبان طبیعی و محاسبات سطح بالا
• 2. چرا NLP به HPC نیاز دارد؟ چالش‌های مقیاس‌پذیری
• 3. مروری بر معماری‌های HPC: از کلاستر تا سوپرکامپیوتر
• 4. مفاهیم کلیدی: نود (Node)، هسته (Core)، پردازنده (Processor)
• 5. مقایسه عمیق سخت‌افزارها: CPU، GPU و TPU
• 6. آشنایی با محیط‌های HPC: خط فرمان، SSH و ماژول‌ها
• 7. مدیریت وابستگی‌ها: Virtual Environments و Conda در HPC
• 8. مبانی پایتون برای محاسبات علمی: NumPy و Pandas در مقیاس بزرگ
• 9. مقدمه‌ای بر PyTorch: تنسورها و عملیات پایه‌ای
• 10. محاسبه گرادیان خودکار با Autograd در PyTorch
• 11. استفاده از GPU در PyTorch: مفاهیم CUDA و .to(device)
• 12. اصول پردازش متن: پاکسازی و نرمال‌سازی داده‌ها
• 13. توکنیزاسیون: از روش‌های مبتنی بر کلمه تا Subword (BPE, WordPiece)
• 14. مدل‌های بازنمایی کلاسیک: Bag-of-Words و TF-IDF
• 15. جاسازی کلمات (Word Embeddings): Word2Vec و GloVe
• 16. مقدمه‌ای بر شبکه‌های عصبی برای NLP
• 17. مدل‌های توالی به توالی (Sequence-to-Sequence) و چالش‌های آن‌ها
• 18. مکانیزم توجه (Attention Mechanism): بنیان مدل‌های مدرن
• 19. معماری ترنسفورمر (Transformer): نگاهی کلی
• 20. لایه‌های Self-Attention و Multi-Head Attention
• 21. رمزگذاری موقعیتی (Positional Encoding)
• 22. بلوک‌های Encoder و Decoder در ترنسفورمر
• 23. آشنایی با مدل BERT: معماری و نوآوری‌ها
• 24. اهداف پیش‌آموزشی BERT: Masked Language Model (MLM)
• 25. آشنایی با خانواده مدل‌های GPT
• 26. یادگیری انتقالی (Transfer Learning) در NLP: پیش‌آموزشی و تنظیم دقیق (Fine-tuning)
• 27. معرفی اکوسیستم Hugging Face
• 28. کتابخانه Transformers: بارگذاری مدل‌ها و توکنایزرها
• 29. استفاده از Pipeline برای استنتاج سریع و آسان
• 30. کتابخانه Datasets: مدیریت و پردازش مجموعه داده‌های عظیم
• 31. کار با داده‌های بزرگ: Memory Mapping و Streaming
• 32. حلقه آموزش سفارشی با PyTorch برای مدل‌های ترنسفورمر
• 33. استفاده از کلاس Trainer در کتابخانه Transformers
• 34. معیارهای ارزیابی در وظایف مختلف NLP
• 35. مقدمه‌ای بر محاسبات موازی و توزیع‌شده
• 36. انواع موازی‌سازی: موازی‌سازی داده (Data Parallelism)
• 37. انواع موازی‌سازی: موازی‌سازی مدل (Model Parallelism)
• 38. انواع موازی‌سازی: موازی‌سازی خط لوله (Pipeline Parallelism)
• 39. چالش‌های محاسبات توزیع‌شده: همگام‌سازی و سربار ارتباطی
• 40. مفاهیم ارتباطی پایه: All-Reduce, Scatter, Gather
• 41. مقدمه‌ای بر کتابخانه Distributed پایتورچ
• 42. راه‌اندازی Process Group و ارتباط بین پردازه‌ها
• 43. پیاده‌سازی موازی‌سازی داده با DistributedDataParallel (DDP)
• 44. مدیریت بارگذاری داده در حالت توزیع‌شده با DistributedSampler
• 45. همگام‌سازی گرادیان‌ها در DDP
• 46. بهینه‌سازی عملکرد در آموزش تک-نود و چند-GPU
• 47. آموزش با دقت مختلط (Mixed Precision Training): FP16 و BF16
• 48. انباشت گرادیان (Gradient Accumulation) برای مدیریت حافظه
• 49. نقطه‌گذاری (Checkpointing) و بازیابی وضعیت آموزش
• 50. کتابخانه Hugging Face Accelerate: ساده‌سازی آموزش توزیع‌شده
• 51. پیکربندی Accelerate برای سناریوهای مختلف (تک/چند GPU، TPU)
• 52. تبدیل کدهای استاندارد PyTorch به Accelerate
• 53. آموزش مدل‌های بزرگ: چالش حافظه GPU
• 54. معرفی کتابخانه DeepSpeed
• 55. بهینه‌سازی حافظه با ZeRO: Stage 1 (Partitioned Optimizer States)
• 56. بهینه‌سازی حافظه با ZeRO: Stage 2 (Partitioned Gradients)
• 57. بهینه‌سازی حافظه با ZeRO: Stage 3 (Partitioned Parameters)
• 58. تخلیه به حافظه CPU و NVMe با ZeRO-Offload
• 59. فایل پیکربندی DeepSpeed: تنظیم پارامترهای کلیدی
• 60. یکپارچه‌سازی DeepSpeed با Hugging Face Trainer
• 61. موازی‌سازی خط لوله با DeepSpeed
• 62. معرفی کتابخانه Horovod
• 63. راه‌اندازی و استفاده از Horovod با PyTorch
• 64. مقایسه Horovod و PyTorch DDP
• 65. معرفی JAX: NumPy بر روی شتاب‌دهنده‌ها
• 66. تبدیلات کلیدی JAX: jit, grad, vmap, pmap
• 67. کتابخانه‌های مبتنی بر JAX برای یادگیری عمیق: Flax و Haiku
• 68. موازی‌سازی داده با pmap در JAX
• 69. موضوعات پیشرفته در تنظیم دقیق (Fine-tuning) مدل‌های زبان بزرگ (LLM)
• 70. موازی‌سازی تانسور (Tensor Parallelism) برای لایه‌های ترنسفورمر
• 71. کتابخانه Megatron-LM و مفاهیم آن
• 72. ترکیب موازی‌سازی سه‌بعدی: Data + Pipeline + Tensor
• 73. انتخاب استراتژی موازی‌سازی مناسب برای هر سناریو
• 74. فشرده‌سازی مدل‌ها: کوانتیزاسیون (Quantization)
• 75. کوانتیزاسیون Post-Training (PTQ) و Quantization-Aware Training (QAT)
• 76. فشرده‌سازی مدل‌ها: هرس کردن (Pruning) و تقطیر دانش (Knowledge Distillation)
• 77. بهینه‌سازی استنتاج (Inference): چالش‌های سرعت و تاخیر
• 78. استفاده از ONNX و ONNX Runtime برای استنتاج سریع‌تر
• 79. شتاب‌دهی استنتاج با TensorRT
• 80. بهینه‌سازی کرنل‌ها: آشنایی با FlashAttention
• 81. سرویس‌دهی مدل‌های زبان بزرگ: vLLM و TensorRT-LLM
• 82. پردازش دسته‌ای (Batching) پویا برای بهینه‌سازی توان عملیاتی (Throughput)
• 83. کار با زمان‌بندهای کلاستر (Cluster Schedulers): مقدمه‌ای بر SLURM
• 84. نوشتن اسکریپت‌های ارسال کار (Job Submission Scripts) در SLURM
• 85. درخواست منابع (GPU، CPU، حافظه) در محیط HPC
• 86. پروفایل‌سنجی (Profiling) و شناسایی گلوگاه‌های عملکرد
• 87. ابزارهای پروفایل‌سنجی GPU: `nvidia-smi` و Nsight Systems
• 88. ابزارهای پروفایل‌سنجی PyTorch: Profiler و Torch-TensorBoard
• 89. اشکال‌زدایی (Debugging) کدهای توزیع‌شده
• 90. نظارت بر روند آموزش با ابزارهایی مانند TensorBoard و Weights & Biases
• 91. مطالعه موردی ۱: تنظیم دقیق توزیع‌شده یک مدل کلاس BERT روی دیتاست سفارشی
• 92. مرحله ۱: آماده‌سازی داده و توکنایزر
• 93. مرحله ۲: پیکربندی اسکریپت آموزش با Accelerate/DeepSpeed
• 94. مرحله ۳: اجرا بر روی کلاستر HPC و تحلیل نتایج
• 95. مطالعه موردی ۲: پیش‌آموزشی یک مدل زبان از ابتدا (Pre-training from Scratch)
• 96. مرحله ۱: جمع‌آوری و آماده‌سازی یک مجموعه داده عظیم
• 97. مرحله ۲: طراحی معماری، واژگان و اهداف آموزشی
• 98. مرحله ۳: مدیریت آموزش بلندمدت، Checkpointing و ارزیابی
• 99. روندهای آینده در NLP و HPC: مدل‌های Mixture of Experts (MoE) و فراتر از آن
• 100. جمع‌بندی دوره، منابع بیشتر و گام‌های بعدی