معرفی دوره

این دوره جامع و کاربردی، فرآیند تنظیم دقیق مدل‌های زبان بزرگ (LLM) را با استفاده از داده‌های سفارشی به شما آموزش می‌دهد. در نسخه 2024-3 این مجموعه آموزشی، شما یاد می‌گیرید که چگونه با بهره‌گیری از ابزارهای متن‌باز و تکنیک‌های پیشرفته، دقت مدل‌های زبانی خود را برای حوزه‌های تخصصی بهینه کنید. از نصب محیط توسعه تا ارزیابی کیفیت خروجی در تولید متن، تمامی مراحل به صورت گام‌به‌گام تشریح شده‌اند.

چه چیزهایی خواهید آموخت

• پیش‌پردازش و ساخت مجموعه داده‌های سفارشی در قالب‌های متداول
• انتخاب و لود مدل‌های از پیش‌آموزش‌دیده مانند GPT-2، GPT-Neo و LLaMA
• تنظیم پارامترهای ابر (Hyperparameters) برای fine-tuning موثر
• نحوه استفاده از کتابخانه‌های PyTorch و Transformers برای آموزش
• تکنیک‌های Prompt Engineering برای بهبود پاسخ‌های تولیدی
• ارزیابی عملکرد مدل با معیارهای BLEU، ROUGE و Perplexity
• بهبود کارایی و کاهش هزینه‌های محاسباتی در زمان آموزش

مزایای شرکت در دوره

• دستیابی به مهارت‌های تخصصی تنظیم دقیق LLM و کاربردهای صنعتی
• افزایش شانس استخدام در حوزه‌ هوش مصنوعی و داده‌کاوی
• دسترسی رایگان به کد نمونه، اسلایدها و محیط‌های Docker آماده
• پشتیبانی و پاسخگویی به سوالات شرکت‌کنندگان
• گواهی پایان دوره معتبر از پلتفرم Udemy

پیش‌نیازها

• آشنایی پایه با زبان برنامه‌نویسی Python
• مفاهیم اولیه یادگیری ماشین و شبکه‌های عصبی
• آشنایی با ترمینال و کار با محیط‌های مجازی (Virtualenv یا Conda)
• دستگاه مجهز به پردازنده گرافیکی (GPU) یا دسترسی به سرویس‌های ابری
• دانلود و نصب آخرین نسخه‌های PyTorch و Transformers

بخش‌های دوره و سرفصل‌ها

• بخش ۱: آشنایی با معماری‌های LLM و روند پیشرفت مدل‌های زبانی
• بخش ۲: آماده‌سازی داده‌ها و ایجاد داکیومنت‌های تمرینی
• بخش ۳: نصب کتابخانه‌ها و راه‌اندازی محیط آموزش
• بخش ۴: تنظیم پارامترهای آموزشی و روش‌های بهینه‌سازی
• بخش ۵: اجرای فرآیند fine-tuning و نظارت بر لاگ‌ها
• بخش ۶: ارزیابی عملکرد و تحلیل خروجی مدل
• بخش ۷: بهبود سرعت آموزش با روش‌های Low-Rank Adaptation (LoRA)
• بخش ۸: برنامه‌ریزی استنتاج (inference) و پیاده‌سازی در اپلیکیشن

مثال‌های عملی

در این دوره شما یک پروژه واقعی را دنبال می‌کنید: تنظیم دقیق مدل GPT-2 برای تولید متون پزشکی. ابتدا با تبدیل مقالات تخصصی به فرمت JSONL آشنا می‌شوید. سپس با استفاده از دستور زیر، فرایند آموزش را اجرا می‌کنید:

!python run_clm.py 
  --model_name_or_path gpt2 
  --train_file medical_dataset.jsonl 
  --validation_file medical_valid.jsonl 
  --per_device_train_batch_size 2 
  --num_train_epochs 3 
  --output_dir ./fine_tuned_gpt2_medical
  

در پایان، با محاسبه Perplexity و مقایسه خروجی قبل و بعد از آموزش، بهبود دقت مدل را مشاهده خواهید کرد.

نحوه دانلود و دسترسی به نرم‌افزار

برای دانلود رایگان فایل‌های دوره و نرم‌افزارهای مورد نیاز کافی است پس از ثبت نام در Udemy، به صفحه دوره مراجعه کرده و از لینک‌های ارائه‌شده در بخش Resources استفاده کنید. تمام محیط‌های Docker از پیش پیکربندی شده است و فقط با یک دستور می‌توانید کل محیط را اجرا کنید:

docker pull custom-llm-finetune:2024-3
docker run --gpus all -it custom-llm-finetune:2024-3 bash
  

با این روش، بدون دغدغه نصب دستی، بلافاصله آماده کار خواهید شد.