اپلیکیشن اندرویدی فلش‌کارت آموزشی استفاده از TensorRT برای بهینه‌سازی مدل‌های DL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استفاده از TensorRT برای بهینه‌سازی مدل‌های DL

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری عمیق و کاربردهای آن
• 2. مفاهیم اساسی شبکه‌های عصبی و انواع مدل‌ها (CNN, RNN, Transformer)
• 3. تفاوت آموزش و استنتاج مدل‌های یادگیری عمیق
• 4. چالش‌های عملکرد در استنتاج مدل‌های DL (Performance Bottlenecks)
• 5. معرفی محاسبات سطح بالا (HPC) در زمینه هوش مصنوعی
• 6. سخت‌افزارهای تسریع‌کننده برای یادگیری عمیق (CPU در مقابل GPU)
• 7. معماری GPU و نقش آن در تسریع DL
• 8. مفاهیم اولیه CUDA و نقش آن در برنامه‌نویسی GPU
• 9. اهمیت بهینه‌سازی مدل‌ها برای استقرار در دنیای واقعی
• 10. معیارهای ارزیابی عملکرد مدل‌های استنتاجی (Latency, Throughput)
• 11. مقدمه‌ای بر اکوسیستم بهینه‌سازی NVIDIA برای DL
• 12. مرور کلی بر اهداف و محتوای دوره
• 13. TensorRT چیست و چرا از آن استفاده می‌کنیم؟
• 14. مزایای کلیدی TensorRT: کاهش تأخیر و افزایش توان عملیاتی
• 15. معماری کلی TensorRT: Parser, Builder, Engine
• 16. فرآیند بهینه‌سازی گراف محاسباتی توسط TensorRT
• 17. لایه‌ها و عملیات‌های پشتیبانی شده توسط TensorRT
• 18. درک انواع داده در TensorRT: FP32, FP16, INT8
• 19. TensorRT SDK: اجزا و ابزارهای آن
• 20. راه‌اندازی محیط توسعه TensorRT در لینوکس
• 21. راه‌اندازی محیط توسعه TensorRT در ویندوز (اختیاری)
• 22. مقایسه TensorRT با سایر موتورهای استنتاجی (ONNX Runtime, OpenVINO)
• 23. آشنایی با فرمت ONNX و نقش آن در TensorRT
• 24. مراحل کلی تبدیل مدل DL به موتور TensorRT
• 25. معرفی ONNX (Open Neural Network Exchange) و اهداف آن
• 26. اکوسیستم ONNX: ابزارها و فرمت استاندارد
• 27. صادرات مدل‌های PyTorch به فرمت ONNX
• 28. جزئیات پارامترهای صادرات ONNX از PyTorch
• 29. صادرات مدل‌های TensorFlow/Keras به فرمت ONNX
• 30. کار با ابزارهای تبدیل TensorFlow به ONNX
• 31. بررسی و اعتبارسنجی مدل‌های ONNX (ONNX Checker)
• 32. بصری‌سازی گراف ONNX با Netron
• 33. عیب‌یابی و رفع خطاهای رایج در صادرات ONNX
• 34. آماده‌سازی مدل برای تبدیل به TensorRT: تاشدن ثابت‌ها (Constant Folding)
• 35. بهینه‌سازی گراف ONNX پیش از تبدیل به TensorRT
• 36. معرفی ONNX-TensorRT Parser در TensorRT
• 37. چگونگی استفاده از ONNX Parser برای بارگذاری مدل
• 38. مدیریت ورودی و خروجی‌های مدل در ONNX
• 39. مثال عملی: تبدیل یک مدل ساده PyTorch/TensorFlow به ONNX
• 40. معرفی API پایتون TensorRT
• 41. اصول استفاده از Builder در TensorRT
• 42. ساخت شیء Network در TensorRT
• 43. تعریف ورودی‌ها و خروجی‌های شبکه
• 44. پیکربندی پارامترهای Builder: حداکثر اندازه دسته (Max Batch Size)
• 45. پیکربندی فضای کاری (Workspace) برای بهینه‌سازی حافظه
• 46. انتخاب دقت‌های محاسباتی (Precision) برای Builder
• 47. ساخت و بهینه‌سازی Engine توسط Builder
• 48. سریال‌سازی (Serialization) موتور TensorRT به فایل
• 49. دی‌سریال‌سازی (Deserialization) موتور TensorRT از فایل
• 50. مفهوم Execution Context و نقش آن در استنتاج
• 51. مدیریت بافرها: حافظه میزبان (Host) و دستگاه (Device)
• 52. تخصیص و انتقال داده‌ها به GPU
• 53. اجرای استنتاج همزمان و ناهمزمان با CUDA Stream
• 54. مثال عملی: استنتاج یک مدل طبقه‌بندی تصویر با Python API
• 55. بررسی عملکرد موتور TensorRT ساخته شده
• 56. مدیریت خطاهای رایج در ساخت موتور TensorRT
• 57. مقدمه‌ای بر کوانتیزاسیون (Quantization) در شبکه‌های عصبی
• 58. مزایای کوانتیزاسیون INT8: سرعت و کاهش مصرف حافظه
• 59. انواع کوانتیزاسیون: پس از آموزش (PTQ) و حین آموزش (QAT)
• 60. کوانتیزاسیون TensorRT: PTQ و روش‌های آن
• 61. فرآیند کالیبراسیون INT8 در TensorRT
• 62. معرفی کلاس IInt8Calibrator و پیاده‌سازی آن
• 63. آماده‌سازی مجموعه داده کالیبراسیون
• 64. نوشتن اسکریپت DataLoader برای کالیبراسیون
• 65. پیکربندی Builder برای فعال‌سازی کوانتیزاسیون INT8
• 66. اجرای فرآیند کالیبراسیون و تولید جدول مقیاس‌گذاری
• 67. ارزیابی دقت مدل INT8 در مقابل مدل FP32
• 68. عیب‌یابی و رفع مشکلات دقت در کوانتیزاسیون INT8
• 69. راهکارهای بهبود دقت مدل‌های کوانتیزه شده
• 70. تفاوت‌های کوانتیزاسیون TensorRT با سایر فریم‌ورک‌ها
• 71. بررسی عملکرد (Latency, Throughput) مدل‌های INT8
• 72. نکات پیشرفته در کالیبراسیون INT8
• 73. انتخاب بهترین دقت برای استقرار (FP32, FP16, INT8)
• 74. توسعه افزونه‌های سفارشی (Custom Plugins) در TensorRT
• 75. زمان نیاز به افزونه‌های سفارشی: عملیات‌های غیرپشتیبانی شده
• 76. ساخت یک افزونه سفارشی: تعریف لایه و پیاده‌سازی آن در CUDA
• 77. ثبت افزونه سفارشی در TensorRT
• 78. استفاده از افزونه‌های سفارشی در Python API
• 79. مدیریت ابعاد پویا (Dynamic Shapes) در TensorRT
• 80. پیکربندی پروفایل‌های ابعاد پویا
• 81. استنتاج چند جریانه (Multi-Stream Inference)
• 82. استراتژی‌های دسته‌بندی (Batching) بهینه
• 83. بهینه‌سازی مصرف حافظه برای مدل‌های بزرگ
• 84. پروفایل‌سازی عملکرد موتور TensorRT با NVIDIA Nsight Systems
• 85. تحلیل گزارش‌های Nsight Systems برای شناسایی گلوگاه‌ها
• 86. استقرار مدل‌های TensorRT روی دستگاه‌های لبه‌ای (NVIDIA Jetson)
• 87. معرفی NVIDIA Triton Inference Server
• 88. استقرار مدل‌های TensorRT با Triton Inference Server
• 89. مدیریت مدل و API Triton
• 90. عیب‌یابی و اشکال‌زدایی مدل‌های TensorRT
• 91. بهترین شیوه‌ها (Best Practices) برای بهینه‌سازی با TensorRT
• 92. معرفی به قابلیت‌های جدید TensorRT در نسخه‌های اخیر
• 93. استفاده از TensorRT برای مدل‌های Transformer
• 94. پیاده‌سازی استنتاج موازی و توزیع‌شده با TensorRT
• 95. نکات امنیتی در استقرار مدل‌های بهینه شده
• 96. مدیریت نسخه‌ها و سازگاری مدل‌ها
• 97. چالش‌های پیش‌رو در بهینه‌سازی DL و راه‌حل‌ها
• 98. منابع آموزشی بیشتر و انجمن‌های پشتیبانی TensorRT
• 99. جمع‌بندی دوره و گام‌های بعدی
• 100. مروری بر استراتژی‌های کلیدی بهینه‌سازی مدل (کوانتیزاسیون، فیوژن و هرس کردن)