مجموعه کتاب آموزش مهندسی داده (Data Engineering)

مهندسی داده دیگر یک مهارت جانبی نیست — یک رشته‌ی تخصصی با مسیر یادگیری مشخص است. بازار کار امروز بین «کسی که با داده کار می‌کند» و «مهندس داده‌ای که pipeline طراحی می‌کند» فرق واضحی می‌گذارد. اولی داده را تحلیل می‌کند؛ دومی زیرساختی می‌سازد که داده بتواند جریان داشته باشد، پاک‌سازی شود، ذخیره شود و در مقیاس بزرگ پردازش شود. این باندل برای رسیدن به دومی طراحی شده. این باندل برای کیست؟ اگر یکی از این جملات شما را توصیف می‌کند، این باندل برای شماست: دانشجوی کارشناسی یا ارشد علوم کامپیوتر که می‌خواهد مسیر Data Engineering را جدی بگیرد توسعه‌دهنده‌ای که می‌خواهد از backend به دنیای داده‌های بزرگ وارد شود داده‌کاوی که یاد گرفته مدل بسازد اما pipeline ندارد متخصصی که برای آزمون‌های Databricks، Google Cloud Professional Data Engineer یا AWS Data Engineer آماده می‌شود این باندل برای کی نیست؟ اگر هنوز با Python و SQL راحت نیستید، پیشنهاد می‌کنیم ابتدا مبانی را تقویت کنید — این کتاب‌ها پیش‌فرض می‌گیرند که با زبان برنامه‌نویسی آشنایی دارید. کتاب‌های این باندل و ترتیب پیشنهادی مطالعه: مرحله ۱ — پایه: معماری سیستم‌های داده بزرگ کتاب Hadoop: The Definitive Guide پایه‌ای‌ترین مرجع اکوسیستم Big Data است. MapReduce، YARN، HDFS و Spark در این کتاب از صفر توضیح داده می‌شوند. حتی اگر هرگز مستقیم با Hadoop کار نکنید، درک معماری آن برای فهمیدن بقیه‌ی ابزارها ضروری است. مرحله ۲ — Pipeline: ساختن جریان داده کتاب Kafka: The Definitive Guide استاندارد صنعتی برای یادگیری Apache Kafka است — سیستم پیام‌رسانی توزیع‌شده‌ای که در قلب اکثر pipeline های real-time قرار دارد. نسخه دوم این کتاب شامل Exactly-Once Semantics و Stream Processing است که در کارهای عملی حیاتی‌اند. مرحله ۳ — پردازش: Spark و PySpark کتاب‌های Data Engineering with Apache Spark, Delta Lake and Lakehouse و Essential PySpark for Scalable Data Analytics با هم کامل‌ترین پوشش Apache Spark را می‌دهند. اولی روی معماری Lakehouse و Azure تمرکز دارد؛ دومی رویکرد Python-محور دارد و برای کسانی که با pandas آشنایند طبیعی‌تر است. مرحله ۴ — ذخیره‌سازی: Data Lake طراحی کن کتاب The Enterprise Big Data Lake و Architecting Modern Data Platforms هر دو به معماری سطح سازمانی می‌پردازند. تفاوت: اولی بیشتر روی governance و strategy است؛ دومی روی stack فنی (Hive، Impala، Spark، Kafka) عمیق‌تر است. مرحله ۵ — استقرار: داده روی Kubernetes کتاب Big Data on Kubernetes جدیدترین کتاب این باندل (۲۰۲۴) است و نشان می‌دهد چطور Spark، Airflow و Kafka را روی یک خوشه‌ی Kubernetes راه‌اندازی کنید — مهارتی که در شرکت‌های ابری سطح بالا الزامی شده. چرا این کتاب‌ها را به زبان اصلی بخوانید؟ اصطلاحاتی مثل data lineage، schema evolution، partitioning strategy، watermarking و late-arriving data در هیچ ترجمه‌ی فارسی معادل دقیقی ندارند. وقتی در یک تیم بین‌المللی کار می‌کنید یا مستندات Apache را می‌خوانید، همین واژه‌ها هستند که باید بلد باشید — نه ترجمه‌شان.