جذب داده ها با پایتون؛ راهنمای کاربردی برای جذب، نظارت و شناسایی خطاها در فرآیند جذب داده ها

ویژگی‌های کلیدی

بهره‌گیری از بهترین شیوه‌ها برای ایجاد خط لوله جذب داده پایتون و PySpark
خودکارسازی و هماهنگ‌سازی یکپارچه خطوط لوله داده خود با استفاده از Apache Airflow
ساخت یک چارچوب نظارتی با ادغام مفهوم مشاهده‌پذیری داده‌ها در خطوط لوله شما

شرح کتاب

کتاب آشپزی جذب داده با پایتون، رویکردی عملی برای طراحی و پیاده‌سازی خطوط لوله جذب داده ارائه می‌دهد. این کتاب نمونه‌هایی از دنیای واقعی را با شناخته‌شده‌ترین ابزارهای متن‌باز موجود در بازار ارائه می‌دهد تا به سؤالات متداول پاسخ دهد و بر چالش‌ها غلبه کند.

شما با طراحی و کار با یا بدون طرحواره‌های داده، و همچنین ایجاد خطوط لوله تحت نظارت با Airflow و اصول مشاهده‌پذیری داده‌ها، در عین رعایت بهترین شیوه‌های صنعت، آشنا خواهید شد. این کتاب همچنین به چالش‌های مرتبط با خواندن منابع داده مختلف و قالب‌های داده می‌پردازد. با پیشرفت در کتاب، درک وسیع‌تری از بهترین شیوه‌های ثبت خطا، تکنیک‌های عیب‌یابی، تنظیم داده‌ها، نظارت و ذخیره گزارش‌ها برای مشاوره بیشتر به دست خواهید آورد.

در پایان کتاب، مجموعه‌ای کاملاً خودکار خواهید داشت که به شما امکان می‌دهد بدون دردسر شروع به دریافت و نظارت بر خط لوله داده خود کنید و ادغام یکپارچه با مراحل بعدی فرآیند ETL را تسهیل کنید.

آنچه خواهید آموخت

پیاده‌سازی قابلیت مشاهده داده‌ها با استفاده از ابزارهای نظارتی
خودکارسازی خط لوله دریافت داده
خواندن داده‌های تحلیلی و پارتیشن‌بندی شده، چه مبتنی بر طرحواره و چه غیر مبتنی بر طرحواره
اشکال‌زدایی و جلوگیری از از دست رفتن داده‌ها از طریق نظارت و ثبت کارآمد داده‌ها
ایجاد سیاست‌های دسترسی به داده‌ها با استفاده از یک چارچوب حاکمیت داده
ساخت یک چارچوب تنظیم داده برای بهبود کیفیت داده‌ها

این کتاب برای چه کسانی مناسب است؟

این کتاب برای مهندسان داده و علاقه‌مندان به داده است که به دنبال درک جامعی از فرآیند جذب داده با استفاده از ابزارهای محبوب در جامعه متن‌باز هستند. برای زبان‌آموزان پیشرفته‌تر، این کتاب ضمن ارائه مثال‌های عملی از سناریوهای دنیای واقعی که معمولاً مهندسان داده با آنها مواجه می‌شوند، ارکان نظری مدیریت داده را در بر می‌گیرد.

فهرست مطالب

مقدمه‌ای بر جذب داده
اصول دسترسی به داده – دسترسی به داده‌های شما
کشف داده – درک داده‌های ما قبل از جذب آن
خواندن فایل‌های CSV و JSON و حل مشکلات
جذب داده از پایگاه‌های داده ساختاریافته و بدون ساختار
استفاده از PySpark با طرحواره‌های تعریف‌شده و تعریف‌نشده
جذب داده‌های تحلیلی
طراحی گردش‌های کاری داده‌های تحت نظارت
کنار هم قرار دادن همه چیز با Air?ow
ثبت و نظارت بر جذب داده‌های شما در Airflow
خودکارسازی خطوط لوله جذب داده شما
استفاده از قابلیت مشاهده داده‌ها برای اشکال‌زدایی، مدیریت خطا و جلوگیری از خرابی