کتاب Fundamentals of Data Engineering

کتاب Fundamentals of Data Engineering (مبانی مهندسی داده: برنامه‌ریزی و ساخت سیستم‌های داده قوی) یکی از بهترین کتاب‌های آموزش مبانی مهندسی داده است. این کتاب که به تازگی در سال 2022 منتشر شده است در 11 فصل به آموزش مفاهیم بنیادی و مهم مهندسی داده و مسائل مربوط به آن خواهد پرداخت.

در ادامه مقدمه‌ای از کتاب Fundamentals of Data Engineering را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب Fundamentals of Data Engineering:

این کتاب چگونه به وجود آمد؟ ریشه عمیقاً در سفر ما از علم داده به مهندسی داده است. ما اغلب به شوخی از خود به عنوان دانشمندان داده بازیابی یاد می‌کنیم. هر دوی ما تجربه انتساب به پروژه‌های علم داده را داشتیم، سپس به دلیل نداشتن پایه‌های مناسب برای اجرای این پروژه‌ها با مشکل مواجه شدیم. سفر ما به مهندسی داده زمانی آغاز شد که وظایف مهندسی داده را برای ایجاد پایه‌ها و زیرساخت‌ها انجام دادیم.

با ظهور علم داده، شرکت‌ها با امید به درو کردن پاداش‌های فراوان، استعدادهای علم داده را به وفور مورد استفاده قرار دادند. اغلب، دانشمندان داده با مشکلات اساسی دست و پنجه نرم می‌کردند که پیشینه و آموزش آن‌ها به آن توجه نمی‌کرد – جمع‌آوری داده‌ها، پاکسازی داده‌ها، دسترسی به داده‌ها، تبدیل داده‌ها و زیرساخت داده‌ها. این‌ها مشکلاتی هستند که مهندسی داده به دنبال حل آن‌هاست.

آنچه این کتاب نیست:

قبل از اینکه به این بپردازیم که کتاب Fundamentals of Data Engineering درباره چه چیزی است و چه چیزی از آن به دست خواهید آورد، بیایید به سرعت آنچه را که این کتاب نیست پوشش دهیم. این کتاب در مورد مهندسی داده با استفاده از یک ابزار، فناوری یا پلت فرم خاص نیست. در حالی که بسیاری از کتاب‌های عالی از این منظر به فناوری‌های مهندسی داده نزدیک می‌شوند، این کتاب‌ها ماندگاری کوتاهی دارند. در عوض، ما سعی می‌کنیم بر مفاهیم اساسی پشت مهندسی داده تمرکز کنیم.

این کتاب در مورد چیست؟

هدف کتاب Fundamentals of Data Engineering پر کردن شکاف در محتوا و مواد مهندسی داده‌های جاری است. در حالی که هیچ کمبودی در منابع فنی که به ابزارها و فناوری‌های مهندسی داده‌های خاص می‌پردازند وجود ندارد، مردم در تلاش برای درک چگونگی جمع‌آوری این مؤلفه‌ها در یک کل منسجم که در دنیای واقعی اعمال می‌شود، تلاش می‌کنند.

کتاب Fundamentals of Data Engineering نقاط چرخه عمر داده‌ها را به هم متصل می‌کند. این به شما نشان می‌دهد که چگونه فناوری‌های مختلف را برای پاسخگویی به نیازهای مصرف‌کنندگان داده‌های پایین‌دستی مانند تحلیل‌گران، دانشمندان داده و مهندسین یادگیری ماشین به هم پیوند دهید. کتاب Fundamentals of Data Engineering به عنوان مکمل کتاب‌های O’Reilly است که جزئیات فناوری‌ها، پلتفرم‌ها و زبان‌های برنامه‌نویسی خاص را پوشش می‌دهد.

ایده بزرگ این کتاب چرخه عمر مهندسی داده است: تولید داده، ذخیره‌سازی، جذب، تبدیل و سرویس دهی از زمان پیدایش داده‌ها، ما شاهد ظهور و سقوط فناوری‌های خاص و محصولات فروشنده بی شماری بوده ایم، اما عمر مهندسی داده‌ها مراحل چرخه اساساً بدون تغییر باقی مانده است. با این چارچوب، خواننده درک درستی برای به کارگیری فناوری‌ها در مسائل تجاری دنیای واقعی خواهد داشت.

هدف ما در اینجا این است که اصولی را ترسیم کنیم که در دو محور قرار دارند. اول، ما می‌خواهیم مهندسی داده را به اصولی تقطیر کنیم که می‌تواند هر فناوری مرتبط را در بر گیرد. دوم، ما می‌خواهیم اصولی را ارائه کنیم که در آزمون زمان مقاومت کنند. ما امیدواریم که این ایده‌ها منعکس‌کننده درس‌های آموخته‌شده از تحولات فناوری داده در بیست سال گذشته باشد و چارچوب ذهنی ما برای یک دهه یا بیشتر در آینده مفید باقی بماند.

یک نکته قابل توجه است: ما بدون عذرخواهی رویکرد اول ابری را در پیش می‌گیریم. ما ابر را به‌عنوان توسعه‌ای اساساً دگرگون‌کننده می‌بینیم که برای دهه‌ها دوام خواهد آورد. اکثر سیستم‌های داده داخلی و بارهای کاری در نهایت به میزبانی ابری منتقل می‌شوند. ما فرض می‌کنیم که زیرساخت‌ها و سیستم‌ها زودگذر و مقیاس‌پذیر هستند و مهندسان داده به سمت استقرار خدمات مدیریت‌شده در ابر متمایل می‌شوند. گفته می‌شود، بیشتر مفاهیم این کتاب به محیط‌های غیر ابری ترجمه می‌شوند.

چه کسی باید این کتاب را بخواند؟

مخاطبان اصلی ما برای کتاب Fundamentals of Data Engineering متشکل از متخصصان فنی، مهندسین نرم افزار سطح متوسط ​​تا ارشد، دانشمندان داده، یا تحلیلگران علاقه مند به حرکت به سمت مهندسی داده هستند. یا مهندسان داده که در ذات فناوری‌های خاص کار می‌کنند، اما می‌خواهند دیدگاه جامع‌تری ایجاد کنند. مخاطب هدف ثانویه ما شامل ذینفعان داده است که در مجاورت متخصصان فنی کار می‌کنند – به عنوان مثال، یک تیم داده با سابقه فنی سرپرست تیمی از مهندسان داده، یا مدیر انبار داده که می‌خواهد از فناوری داخلی به یک راه حل مبتنی بر ابر مهاجرت کند.

در حالت ایده‌آل، شما کنجکاو هستید و می‌خواهید یاد بگیرید-چرا این کتاب را می‌خوانید؟ با خواندن کتاب‌ها و مقالاتی در مورد انبار داده/ دریاچه‌های داده، سیستم‌های دسته‌ای و جریانی، هماهنگ‌سازی، مدل‌سازی، مدیریت، تجزیه و تحلیل، پیشرفت‌ها در فناوری‌های ابری و غیره، با فناوری‌ها و روندهای داده آشنا می‌شوید. این کتاب به شما کمک می‌کند آنچه را که دارید ببافید. در یک تصویر کامل از مهندسی داده در سراسر فن آوری‌ها و پارادایم‌ها بخوانید.

سرفصل‌های کتاب Fundamentals of Data Engineering:

• Preface
• I. Foundation and Building Blocks
• 1. Data Engineering Described
• 2. The Data Engineering Lifecycle
• 3. Designing Good Data Architecture
• 4. Choosing Technologies Across the Data Engineering Lifecycle
• II. The Data Engineering Lifecycle in Depth
• 5. Data Generation in Source Systems
• 6. Storage
• 7. Ingestion
• 8. Queries, Modeling, and Transformation
• 9. Serving Data for Analytics, Machine Learning, and Reverse ETL
• III. Security, Privacy, and the Future of Data Engineering
• 10. Security and Privacy
• 11. The Future of Data Engineering
• A. Serialization and Compression Technical Details
• B. Cloud Networking
• Index
• About the Authors

جهت دانلود کتاب Fundamentals of Data Engineering می‌توانید پس از پرداخت، دریافت کنید.