کتاب مصرف داده ها با کتاب آشپزی پایتون: یک راهنمای عملی برای مصرف ، نظارت و شناسایی خطاها در فرآیند مصرف داده ها
عنوان کتاب به انگلیسی: |
Data Ingestion with Python Cookbook: A practical guide to ingesting, monitoring, and identifying errors in the data ingestion process |
| سال انتشار: 2023 | 414 صفحه | حجم فایل: 25 مگابایت | زبان: انگلیسی |
| نویسنده | Glaucia Esppenchutz |
| ناشر | Packt Publishing |
| ISBN10: | 183763260X |
| ISBN13: | 9781837632602 |
توضیحات کتاب
Deploy your data ingestion pipeline, orchestrate, and monitor efficiently to prevent loss of data and quality
Purchase of the print or Kindle book includes a free PDF eBook
Key Features
Harness best practices to create a Python and PySpark data ingestion pipeline
Seamlessly automate and orchestrate your data pipelines using Apache Airflow
Build a monitoring framework by integrating the concept of data observability into your pipelines
Book Description
Data Ingestion with Python Cookbook offers a practical approach to designing and implementing data ingestion pipelines. It presents real-world examples with the most widely recognized open source tools on the market to answer commonly asked questions and overcome challenges.
You'll be introduced to designing and working with or without data schemas, as well as creating monitored pipelines with Airflow and data observability principles, all while following industry best practices. The book also addresses challenges associated with reading different data sources and data formats. As you progress through the book, you'll gain a broader understanding of error logging best practices, troubleshooting techniques, data orchestration, monitoring, and storing logs for further consultation.
By the end of the book, you'll have a fully automated set that enables you to start ingesting and monitoring your data pipeline effortlessly, facilitating seamless integration with subsequent stages of the ETL process.
What you will learn
Implement data observability using monitoring tools
Automate your data ingestion pipeline
Read analytical and partitioned data, whether schema or non-schema based
Debug and prevent data loss through efficient data monitoring and logging
Establish data access policies using a data governance framework
Construct a data orchestration framework to improve data quality
Who this book is for
This book is for data engineers and data enthusiasts seeking a comprehensive understanding of the data ingestion process using popular tools in the open source community. For more advanced learners, this book takes on the theoretical pillars of data governance while providing practical examples of real-world scenarios commonly encountered by data engineers.
Table of Contents
Introduction to Data Ingestion
Principals of Data Access – Accessing your Data
Data Discovery – Understanding Our Data Before Ingesting It
Reading CSV and JSON Files and Solving Problems
Ingesting Data from Structured and Unstructured Databases
Using PySpark with De?ned and Non-De?ned Schemas
Ingesting Analytical Data
Designing Monitored Data Workflows
Putting Everything Together with Air?ow
Logging and Monitoring Your Data Ingest in Airflow
Automating Your Data Ingestion Pipelines
Using Data Observability for Debugging, Error Handling, and Preventing Downtime
توضیحات کتاب به فارسی (ترجمه ماشینی)
خط لوله مصرف داده خود را مستقر کنید ، ارکستر کنید و به طور موثر نظارت کنید تا از از دست دادن داده ها و کیفیت جلوگیری کنید خرید کتاب چاپی یا Kindle شامل یک کتاب الکترونیکی رایگان PDF است ویژگی های کلیدی مهار بهترین روشها برای ایجاد خط لوله مصرف داده های پایتون و pyspark یکپارچه خط لوله های داده خود را با استفاده از جریان Apache Airflow خودکار و ارکستر کنید با ادغام مفهوم مشاهده داده ها در خطوط لوله خود ، یک چارچوب نظارت ایجاد کنید توضیحات کتاب مصرف داده ها با کتاب آشپزی پایتون یک رویکرد عملی برای طراحی و اجرای خطوط لوله مصرف داده ها ارائه می دهد.این نمونه های دنیای واقعی را با شناخته شده ترین ابزارهای منبع باز در بازار ارائه می دهد تا به سؤالات متداول پاسخ داده شود و بر چالش ها غلبه کند. شما با طراحی و کار با طرح های داده یا بدون طرح و همچنین ایجاد خطوط لوله نظارت شده با جریان هوا و اصول مشاهده داده ها آشنا می شوید ، همه در حالی که بهترین شیوه های صنعت را دنبال می کنند.این کتاب همچنین به چالش های مرتبط با خواندن منابع مختلف داده ها و قالب های داده می پردازد.با پیشرفت از طریق کتاب ، درک گسترده تری از بهترین روش های خطا ، تکنیک های عیب یابی ، ارکستر داده ، نظارت و ذخیره سیاهههای مربوط به مشاوره بیشتر به دست می آورید. در پایان کتاب ، یک مجموعه کاملاً خودکار خواهید داشت که به شما امکان می دهد تا با زحمت شروع به مصرف و نظارت بر خط لوله داده خود کنید و ادغام یکپارچه را با مراحل بعدی فرآیند ETL تسهیل کنید. آنچه یاد خواهید گرفت مشاهده داده های داده با استفاده از ابزارهای نظارت خط لوله مصرف داده خود را خودکار کنید داده های تحلیلی و تقسیم بندی شده را بخوانید ، اعم از طرحواره یا غیر برنامه ریزی اشکال زدایی و جلوگیری از از دست دادن داده ها از طریق نظارت و ورود به سیستم کارآمد داده ها با استفاده از یک چارچوب حاکمیت داده ، سیاست های دسترسی به داده ها را ایجاد کنید برای بهبود کیفیت داده ها یک چارچوب ارکستراسیون داده ایجاد کنید این کتاب برای چه کسی است این کتاب برای مهندسین داده ها و علاقه مندان به داده ها است که به دنبال درک جامع از فرآیند مصرف داده ها با استفاده از ابزارهای محبوب در جامعه منبع باز هستند.برای فراگیران پیشرفته تر ، این کتاب ستون های نظری حاکمیت داده ها را در حالی که نمونه های عملی از سناریوهای دنیای واقعی را که معمولاً توسط مهندسان داده با آن روبرو می شوند ، به دست می آورد. فهرست مطالب آشنایی با مصرف داده ها اصول دسترسی به داده ها - دسترسی به داده های شما کشف داده ها - درک داده های ما قبل از مصرف آن خواندن پرونده های CSV و JSON و حل مشکلات مصرف داده ها از پایگاه داده های ساختاری و بدون ساختار با استفاده از pyspark با طرح های de؟ ned و غیر de؟ ned مصرف داده های تحلیلی طراحی گردش کار داده های نظارت شده قرار دادن همه چیز با هوا؟ ورود به سیستم و نظارت بر داده های خود در جریان هوا خطوط لوله مصرف داده خود را خودکار کنید استفاده از مشاهده داده برای اشکال زدایی ، رسیدگی به خطا و جلوگیری از خرابی📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر کتاب اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
-
کتاب صدها نکته فارسی (خودمونی) – نسخه PDF — زبان ساده و کاربردی
مشاهده نمونه نسخه نکات ساده -
کتاب صدها نکته رسمی فارسی – نسخه PDF — نگارش استاندارد و علمی
مشاهده نمونه نسخه نکات رسمی -
کتاب صدها پرسش و پاسخ تشریحی – نسخه PDF
— هر سؤال همراه با پاسخ کامل برای درک عمیق مفاهیم
مشاهده نمونه نسخه پرسش و پاسخ -
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع -
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
- این محصول به صورت فایل دانلودی کامل ارائه میشود.
- توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
- دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
- برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
- اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی:
واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248
تلگرام: @ma_limbs
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.