فلش‌کارت‌های آموزشی تبدیل فرمت Parquet به CSV و موارد معکوس

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تبدیل فرمت Parquet به CSV و موارد معکوس

موضوع کلی: تحلیل داده پیشرفته

موضوع میانی: تبدیل فرمت‌های داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر فرمت‌های داده و اهمیت تبدیل آن‌ها
• 2. فرمت Parquet: ساختار، مزایا و معایب
• 3. فرمت CSV: ساختار، مزایا و معایب
• 4. بررسی موارد استفاده اصلی از Parquet و CSV
• 5. نصب و راه‌اندازی کتابخانه‌های مورد نیاز (pandas, pyarrow)
• 6. خواندن فایل‌های Parquet با pandas
• 7. خواندن فایل‌های CSV با pandas
• 8. تبدیل فایل Parquet به CSV با pandas
• 9. تبدیل فایل CSV به Parquet با pandas
• 10. مدیریت انواع داده‌ها در حین تبدیل (data types)
• 11. تبدیل انواع داده‌ها (casting) در pandas برای سازگاری فرمت
• 12. کنترل و مدیریت مقادیر گمشده (missing values) در تبدیل
• 13. فشرده‌سازی فایل‌های Parquet: روش‌ها و تاثیر بر حجم
• 14. تغییر سطح فشرده‌سازی در هنگام تبدیل به Parquet
• 15. تبدیل فایل‌های بزرگ Parquet به CSV به صورت دسته‌ای (chunking)
• 16. تبدیل فایل‌های بزرگ CSV به Parquet به صورت دسته‌ای (chunking)
• 17. استفاده از Dask برای پردازش فایل‌های بزرگ Parquet و CSV
• 18. استفاده از PyArrow برای تسریع فرآیند تبدیل
• 19. بهینه‌سازی حافظه در هنگام تبدیل فرمت‌ها
• 20. تبدیل فرمت‌های Parquet و CSV با استفاده از Spark
• 21. مقایسه عملکرد pandas و Spark در تبدیل فرمت‌ها
• 22. مدیریت جداکننده‌ها (delimiters) و نقل قول‌ها (quotes) در CSV
• 23. تبدیل فایل‌های CSV با جداکننده‌های مختلف به Parquet
• 24. تبدیل فایل‌های Parquet به CSV با encoding های مختلف (UTF-8, Latin-1)
• 25. مدیریت Encoding در فایل‌های CSV ورودی
• 26. تبدیل فایل‌های Parquet با schema های پیچیده به CSV
• 27. تبدیل فایل‌های CSV با schema های پیچیده به Parquet
• 28. اعتبارسنجی داده‌ها پس از تبدیل (data validation)
• 29. بررسی یکپارچگی داده‌ها پس از تبدیل
• 30. رفع خطاهای رایج در تبدیل فرمت Parquet و CSV
• 31. استفاده از کتابخانه fastparquet برای تبدیل سریع‌تر Parquet
• 32. تبدیل فایل‌های Parquet با استفاده از قطعه‌بندی (partitioning)
• 33. تبدیل فایل‌های CSV به Parquet با استفاده از قطعه‌بندی
• 34. کار با metadata در فایل‌های Parquet
• 35. استخراج metadata از فایل‌های Parquet
• 36. استفاده از metadata در فرآیند تبدیل
• 37. تبدیل فرمت‌های Parquet و CSV در محیط ابری (AWS, Azure, GCP)
• 38. امنیت داده‌ها در هنگام تبدیل فرمت‌ها
• 39. مستندسازی فرآیند تبدیل فرمت
• 40. اتوماتیک‌سازی فرآیند تبدیل فرمت با اسکریپت‌نویسی
• 41. نوشتن توابع سفارشی برای تبدیل فرمت
• 42. بررسی و رفع مشکلات مربوط به encoding در تبدیل
• 43. بهینه‌سازی فرآیند تبدیل برای داده‌های حجیم
• 44. استفاده از کتابخانه‌های جانبی برای کار با فرمت‌های خاص Parquet
• 45. آشنایی با فرمت‌های دیگر داده‌ای و تبدیل آن‌ها به Parquet/CSV
• 46. تبدیل فرمت JSON به Parquet و CSV
• 47. تبدیل فرمت Avro به Parquet و CSV
• 48. مقدمه‌ای بر تبدیل فرمت‌های داده‌ای در Data Lake
• 49. بهترین روش‌ها برای نگهداری و مدیریت داده‌های تبدیل شده