کتاب Big Data on Kubernetes: A practical guide to building efficient and scalable data solutions (کلان داده در Kubernetes: راهنمای عملی برای ایجاد راه حل‌های داده کارآمد و مقیاس‌پذیر) توسط یک متخصص داده با تجربه نوشته شده است، شما را در کل فرآیند توسعه خطوط لوله داده مقیاس‌پذیر و انعطاف پذیر با تمرکز بر اجرای عملی هدایت می‌کند.
با شروع با اصول اولیه، به سمت یادگیری نحوه نصب Docker و اجرای اولین برنامه‌های کانتینری خود پیشرفت خواهید کرد. سپس معماری Kubernetes را بررسی کرده و اجزای اصلی آن را درک خواهید کرد.
در ادامه مقدمه‌ای از کتاب Big Data on Kubernetes را از زبان نویسنده شرح خواهیم داد.
مقدمه‌ای بر کتاب Big Data on Kubernetes:
در دنیای داده‌محور امروز، توانایی پردازش و تحلیل حجم عظیمی از داده‌ها به یک مزیت رقابتی حیاتی برای کسب‌وکارها در صنایع مختلف تبدیل شده است. فناوری‌های بزرگ داده به عنوان ابزارهای قدرتمندی برای مدیریت حجم، سرعت و تنوع فزاینده داده‌ها ظهور کرده‌اند و سازمان‌ها را قادر می‌سازند تا بینش‌های ارزشمندی استخراج کرده و تصمیم‌گیری آگاهانه انجام دهند. با این حال، مدیریت و مقیاس‌بندی این فناوری‌ها می‌تواند یک کار دلهره‌آور باشد و اغلب به زیرساخت و سربار عملیاتی قابل توجهی نیاز دارد.
کوبرنتیز، پلتفرم متن‌باز ارکستراسیون کانتینر، نحوه استقرار و مدیریت برنامه‌ها را متحول کرده است. کوبرنتیز با ارائه رویکرد استاندارد و خودکار برای مدیریت کانتینر، استقرار و مقیاس‌بندی برنامه‌های پیچیده، از جمله بارهای کاری بزرگ داده را ساده کرده است. هدف کتاب Big Data on Kubernetes پر کردن شکاف بین این دو فناوری قدرتمند است و شما را در فرآیند پیاده‌سازی یک معماری بزرگ داده قوی و مقیاس‌پذیر بر روی کوبرنتیز راهنمایی می‌کند.
در طول فصل‌های کتاب Big Data on Kubernetes، شما یک سفر جامع را آغاز خواهید کرد که با اصول اولیه کانتینرها و معماری کوبرنتیز شروع می‌شود. شما یاد خواهید گرفت که چگونه تصاویر داکر را بسازید و استقرار دهید، اجزای اصلی کوبرنتیز را درک کنید و تجربه عملی در راه‌اندازی خوشه‌های محلی و ابری کوبرنتیز کسب کنید. این پایه محکم شما را برای فصل‌های بعدی آماده می‌کند که در آن به دنیای پشته داده مدرن خواهید پرداخت.
کتاب Big Data on Kubernetes شما را با ابزارهای پرکاربرد در اکوسیستم بزرگ داده مانند Apache Spark برای پردازش داده، Apache Airflow برای ارکستراسیون خط لوله و Apache Kafka برای ورود داده‌های بلادرنگ آشنا می‌کند.
شما نه تنها مفاهیم نظری پشت این فناوری‌ها را یاد خواهید گرفت، بلکه تجربه عملی در پیاده‌سازی آن‌ها بر روی کوبرنتیز نیز کسب خواهید کرد. از طریق مجموعه‌ای از تمرین‌ها و پروژه‌های عملی، درک عمیقی از نحوه ساخت و استقرار خطوط لوله داده، پردازش مجموعه داده‌های بزرگ و هماهنگی جریان‌های کاری پیچیده بر روی یک خوشه کوبرنتیز پیدا خواهید کرد.
با پیشرفت کتاب Big Data on Kubernetes، موضوعات پیشرفته‌ای مانند استقرار لایه مصرف داده با ابزارهایی مانند Trino و Elasticsearch و ادغام بارهای کاری هوش مصنوعی مولد با استفاده از Amazon Bedrock را بررسی خواهید کرد. این موضوعات شما را با دانش و مهارت‌های لازم برای ساخت و نگهداری یک معماری بزرگ داده قوی و مقیاس‌پذیر بر روی کوبرنتیز مجهز می‌کند و پردازش، تحلیل و استقرار برنامه‌های تحلیلی داده کارآمد را تضمین می‌کند.
در پایان کتاب Big Data on Kubernetes، درک جامعی از هم‌افزایی بین بزرگ داده و کوبرنتیز به دست خواهید آورد که به شما امکان می‌دهد از قدرت این فناوری‌ها برای ایجاد نوآوری و رشد کسب‌وکار استفاده کنید. این کتاب چه یک مهندس داده، یک متخصص DevOps یا یک علاقه‌مند به فناوری باشید، دانش عملی و تجربه عملی لازم برای پیاده‌سازی و مدیریت موفق بارهای کاری بزرگ داده بر روی کوبرنتیز را در اختیار شما قرار می‌دهد.
کتاب Big Data on Kubernetes برای چه کسانی است؟
اگر شما یک مهندس داده، معمار ابری، متخصص DevOps، مدیر داده یا علم داده، یا علاقه‌مند به فناوری هستید، این کتاب برای شماست. شما باید دارای پیش‌زمینه اولیه در برنامه‌نویسی پایتون و SQL و همچنین دانش اولیه در مورد Apache Spark، Apache Kafka و Apache Airflow باشید. درک اولیه از Docker و Git نیز مفید خواهد بود.
بیشتر بخوانید: کتاب Kubernetes Anti-Patterns
درباره کتاب Big Data on Kubernetes
فصل اول، شروع با کانتینرها
سفری را برای درک کانتینرها و Docker، فناوری‌های بنیادی برای استقرار مدرن برنامه‌ها آغاز می‌کند. شما یاد خواهید گرفت که چگونه Docker را نصب کنید و اولین تصویر کانتینری خود را اجرا کنید و قدرت کانتینریزه کردن را به صورت دست اول تجربه کنید.
علاوه بر این، شما به پیچیدگی‌های Dockerfiles خواهید پرداخت و هنر ساخت تصاویر کانتینری مختصر و کاربردی را فرا خواهید گرفت. از طریق مثال‌های عملی، از جمله ساخت یک API ساده و یک کار پردازش داده با پایتون، تفاوت‌های ظریف کانتینریزه کردن سرویس‌ها و کارها را درک خواهید کرد.
در پایان این فصل از کتاب Big Data on Kubernetes، فرصتی خواهید داشت تا دانش جدید خود را با ساخت کار و API خود تقویت کنید و زمینه را برای یک مجموعه از برنامه‌های کاربردی مبتنی بر کانتینر عملی فراهم کنید.
فصل دوم، معماری کوبرنتیز
شما را با اجزای اصلی تشکیل دهنده معماری کوبرنتیز آشنا می‌کند. شما در مورد اجزای کنترل پلان مانند API server، etcd، scheduler و controller manager و همچنین اجزای نود کارگر مانند kubelet، kube-proxy و زمان اجرای کانتینر یاد خواهید گرفت.
این فصل از کتاب Big Data on Kubernetes، نقش‌ها و مسئولیت‌های هر جزء و نحوه تعامل آن‌ها با یکدیگر برای اطمینان از عملکرد روان یک خوشه کوبرنتیز را توضیح خواهد داد. علاوه بر این، شما درک مفاهیم کلیدی در کوبرنتیز، از جمله podها، استقرارها، سرویس‌ها، کارها، مجموعه‌های ایالتی، حجم‌های پایدار، ConfigMaps و اسرار را به دست خواهید آورد. در پایان این فصل، شما یک پایه محکم در معماری و مفاهیم اصلی کوبرنتیز خواهید داشت و برای تجربه عملی در فصل‌های بعدی آماده خواهید شد.
فصل سوم، دست به کار شدن با کوبرنتیز
شما را در فرآیند استقرار یک خوشه محلی کوبرنتیز با استفاده از kind و یک خوشه مبتنی بر ابر روی AWS با استفاده از Amazon EKS راهنمایی می‌کند. شما پیکربندی حداقل حساب AWS مورد نیاز برای استقرار موفقیت‌آمیز یک خوشه EKS را یاد خواهید گرفت.
پس از راه‌اندازی خوشه‌ها، فرصتی خواهید داشت تا بین استقرار برنامه‌های خود در محیط محلی یا ابری انتخاب کنید. صرف نظر از انتخاب شما، کارهای API و پردازش داده توسعه‌یافته در فصل 1 کتاب Big Data on Kubernetes را مجدداً انجام داده و آن‌ها را در کوبرنتیز مستقر خواهید کرد. این تجربه عملی درک شما از مفاهیم کوبرنتیز را تقویت کرده و شما را برای موضوعات پیشرفته‌تر در فصل‌های بعدی آماده می‌کند.
فصل 4: پشته داده مدرن
فصل چهارم شما را با شناخته‌شده‌ترین طراحی‌های معماری داده، با تمرکز بر معماری لامبدا آشنا می‌کند. شما در مورد ابزارهایی که پشته داده مدرن را تشکیل می‌دهند، که مجموعه‌ای از فناوری‌های استفاده‌شده برای پیاده‌سازی معماری دریاچه (خانه) داده است، یاد خواهید گرفت.
از جمله این ابزارها می‌توان به Apache Spark برای پردازش داده، Apache Airflow برای ارکستراسیون خط لوله داده و Apache Kafka برای جریان رویدادهای بلادرنگ و ورود داده اشاره کرد. این فصل از کتاب Big Data on Kubernetes، یک معرفی مفهومی از این ابزارها و نحوه کارکرد آن‌ها برای ساخت دارایی‌های اصلی فناوری یک معماری دریاچه (خانه) داده ارائه خواهد داد.
فصل 5: پردازش داده بزرگ با Apache Spark
فصل پنجم شما را با Apache Spark، یکی از محبوب‌ترین ابزارها برای پردازش داده‌های بزرگ آشنا می‌کند. شما اجزای اصلی یک برنامه Spark، نحوه مقیاس‌بندی و مدیریت پردازش توزیع‌شده و بهترین شیوه‌ها برای کار با Spark را درک خواهید کرد.
شما با استفاده از هر دو API DataFrames و API Spark SQL، با استفاده از پایتون برای تعامل با Spark، کارهای ساده پردازش داده را پیاده‌سازی خواهید کرد. این فصل از کتاب Big Data on Kubernetes، شما را در نصب Spark به صورت محلی برای اهداف آزمایش راهنمایی می‌کند تا بتوانید قبل از استقرار در مقیاس بزرگ‌تر، تجربه عملی با این ابزار قدرتمند کسب کنید.
فصل 6: Apache Airflow برای ساخت خط لوله‌ها
فصل ششم شما را با Apache Airflow، یک ابزار متن‌باز پرکاربرد برای ارکستراسیون خط لوله داده آشنا می‌کند. شما یاد خواهید گرفت که چگونه Airflow را با استفاده از Docker و Astro CLI نصب کنید و فرآیند راه‌اندازی را ساده کنید.
این فصل از کتاب Big Data on Kubernetes، شما را با ویژگی‌های اصلی Airflow و اپراتورهای پرکاربرد برای کارهای مهندسی داده آشنا می‌کند. علاوه بر این، شما بینش‌هایی در مورد بهترین شیوه‌ها برای ساخت خط لوله‌های داده مقاوم و کارآمد که از قابلیت‌های Airflow به بهترین نحو استفاده می‌کنند، کسب خواهید کرد.
در پایان این فصل، درک جامعی از نحوه هماهنگی جریان‌های کاری پیچیده داده با استفاده از Airflow خواهید داشت، که یک مهارت حیاتی برای هر مهندس داده یا معمار داده‌ای که با داده‌های بزرگ روی کوبرنتیز کار می‌کند، است.
فصل 7: Apache Kafka برای رویدادهای بلادرنگ و ورود داده
فصل هفتم شما را با Apache Kafka، یک پلتفرم جریان رویداد توزیع‌شده که به طور گسترده برای ساخت خط لوله‌های داده بلادرنگ و برنامه‌های جریان استفاده می‌شود، آشنا می‌کند. شما معماری Kafka و نحوه مقیاس‌بندی آن در حالی که مقاوم است، درک خواهید کرد و آن را قادر می‌سازد تا حجم بالایی از داده‌های بلادرنگ را با تأخیر کم مدیریت کند.
شما در مورد طراحی موضوعات توزیع‌شده Kafka که عملکرد قوی آن را برای رویدادهای بلادرنگ پشتیبانی می‌کند، یاد خواهید گرفت. این فصل از کتاب Big Data on Kubernetes، شما را در اجرای Kafka به صورت محلی با Docker و پیاده‌سازی عملیات خواندن و نوشتن اولیه روی موضوعات راهنمایی می‌کند. علاوه بر این، شما استراتژی‌های مختلف برای تکثیر داده و توزیع موضوع را بررسی خواهید کرد و اطمینان حاصل خواهید کرد که می‌توانید خوشه‌های Kafka کارآمد و قابل اعتماد را طراحی و پیاده‌سازی کنید.
فصل 8: استقرار پشته بزرگ داده بر روی کوبرنتیز
فصل هشتم شما را در فرآیند استقرار ابزارهای بزرگ داده که در فصل‌های قبلی آموخته‌اید، بر روی یک خوشه کوبرنتیز راهنمایی می‌کند. شما با ساخت اسکریپت‌های bash برای استقرار اپراتور Spark و اجرای SparkApplications بر روی کوبرنتیز شروع خواهید کرد.
سپس، Apache Airflow را بر روی کوبرنتیز استقرار خواهید داد تا بتوانید خطوط لوله داده را در داخل خوشه هماهنگ کنید. علاوه بر این، Apache Kafka را بر روی کوبرنتیز با استفاده از هر دو تکنیک خوشه گذرا و JBOD استقرار خواهید داد.
خوشه Kafka Connect نیز همراه با کانکتورها برای مهاجرت داده از پایگاه‌های داده SQL به ذخیره‌سازی شی پایدار استقرار خواهد یافت. در پایان این فصل از کتاب Big Data on Kubernetes، شما یک پشته بزرگ داده کاملاً کاربردی که بر روی کوبرنتیز اجرا می‌شود خواهید داشت که آماده برای کاوش و توسعه بیشتر است.
فصل 9: لایه مصرف داده
فصل نهم شما را در فرآیند در دسترس قرار دادن امن داده‌ها برای تحلیلگران کسب‌وکار در یک معماری بزرگ داده مستقر شده بر روی کوبرنتیز راهنمایی می‌کند. شما با کسب یک دید کلی از کار بر روی یک رویکرد مدرن با استفاده از یک “موتور دریاچه داده” به جای انبار داده شروع خواهید کرد.
در این فصل از کتاب Big Data on Kubernetes، شما با Trino برای مصرف داده مستقیماً از یک دریاچه داده از طریق کوبرنتیز آشنا خواهید شد. شما نحوه کار یک موتور دریاچه داده را درک خواهید کرد، آن را در کوبرنتیز استقرار خواهید داد و اجرای و تاریخچه پرس و جو را نظارت خواهید کرد.
علاوه بر این، برای داده‌های بلادرنگ، با Elasticsearch و Kibana برای مصرف داده آشنا خواهید شد. شما این ابزارها را استقرار خواهید داد و یاد خواهید گرفت که چگونه داده‌ها را در آن‌ها ایندکس کنید و چگونه یک تجسم داده ساده با Kibana بسازید.
فصل 10: ساخت یک خط لوله بزرگ داده در کوبرنتیز
فصل دهم شما را در فرآیند استقرار و هماهنگ‌سازی دو خط لوله داده کامل، یکی برای پردازش دسته ای و دیگری برای پردازش بلادرنگ، بر روی یک خوشه کوبرنتیز راهنمایی می‌کند. شما تمام ابزارهایی را که در طول کتاب Big Data on Kubernetes آموخته‌اید، مانند Apache Spark، Apache Airflow، Apache Kafka و Trino، را برای ساخت یک راه حل پیچیده واحد متصل خواهید کرد.
شما این ابزارها را بر روی کوبرنتیز استقرار خواهید داد، کد برای پردازش داده و هماهنگی می‌نویسید و داده‌ها را برای پرس و جو از طریق یک موتور SQL در دسترس قرار می‌دهید. در پایان این فصل از کتاب Big Data on Kubernetes، شما تجربه عملی در ساخت و مدیریت یک خط لوله بزرگ داده جامع بر روی کوبرنتیز خواهید داشت، که اجزای مختلف و فناوری‌ها را در یک معماری منسجم و مقیاس‌پذیر ادغام می‌کند.
فصل ۱۱: هوش مصنوعی مولد بر روی کوبرنتیز
فصل ۱۱ کتاب Big Data on Kubernetes، شما را در فرآیند استقرار یک برنامه هوش مصنوعی مولد بر روی کوبرنتیز با استفاده از Amazon Bedrock به عنوان یک مجموعه سرویس برای مدل‌های بنیادی راهنمایی می‌کند.
شما یاد خواهید گرفت که چگونه برنامه خود را به یک پایگاه دانش که به عنوان یک لایه تولید تقویت‌شده با بازیابی (RAG) عمل می‌کند، متصل کنید که قابلیت‌های مدل هوش مصنوعی را با ارائه دسترسی به منابع اطلاعات خارجی بهبود می‌بخشد.
علاوه بر این، شما کشف خواهید کرد که چگونه اجرای وظایف را توسط مدل‌های هوش مصنوعی با استفاده از عامل‌ها خودکار کنید و یکپارچه‌سازی بی‌دردسر هوش مصنوعی مولد را در جریان کار خود امکان‌پذیر سازید.
در پایان این فصل از کتاب Big Data on Kubernetes، شما درک جامعی از نحوه استفاده از قدرت هوش مصنوعی مولد بر روی کوبرنتیز خواهید داشت و امکانات جدیدی را برای تجربیات شخصی‌سازی‌شده مشتری، دستیارهای هوشمند و تحلیل کسب‌وکار خودکار باز خواهید کرد.
فصل ۱۲: گام بعدی چیست
فصل ۱۲ شما را در مراحل بعدی سفر خود برای تسلط بر داده‌های بزرگ و کوبرنتیز راهنمایی می‌کند. شما مفاهیم و فناوری‌های حیاتی را که برای ساختن راه‌حل‌های قوی و مقیاس‌پذیر بر روی کوبرنتیز ضروری هستند، بررسی خواهید کرد.
این شامل استراتژی‌های نظارت برای هر دو کوبرنتیز و برنامه‌های شما، پیاده‌سازی یک شبکه سرویس برای ارتباط کارآمد، ایمن‌سازی خوشه و برنامه‌های کاربردی، فعال‌سازی مقیاس‌پذیری خودکار، پذیرش شیوه‌های GitOps و CI/CD برای استقرار و مدیریت ساده و کنترل هزینه‌های کوبرنتیز می‌شود.
برای هر موضوع، شما یک مرور کلی و توصیه‌هایی در مورد فناوری‌ها برای بررسی بیشتر دریافت خواهید کرد که به شما امکان می‌دهد دانش و مهارت‌های خود را در این زمینه‌ها افزایش دهید.
سرفصل‌های کتاب Big Data on Kubernetes:
- Big Data on Kubernetes
- Contributors
- About the author
- About the reviewer
- Preface
- Part 1:Docker and Kubernetes
- Chapter 1: Getting Started with Containers
- Chapter 2: Kubernetes Architecture
- Chapter 3: Getting Hands-On with Kubernetes
- Part 2: Big Data Stack
- Chapter 4: The Modern Data Stack
- Chapter 5: Big Data Processing with Apache Spark
- Chapter 6: Building Pipelines with Apache Airflow
- Chapter 7: Apache Kafka for Real-Time Events and Data Ingestion
- Part 3: Connecting It All Together
- Chapter 8: Deploying the Big Data Stack on Kubernetes
- Chapter 9: Data Consumption Layer
- Chapter 10: Building a Big Data Pipeline on Kubernetes
- Chapter 11: Generative Al on Kubernetes
- Chapter 12: Where to Go from Here
- Index
- Other Books You May Enjoy
جهت دانلود کتاب Big Data on Kubernetes می‌توانید پس از پرداخت، دریافت کنید.
دیدگاهها
هیچ دیدگاهی برای این محصول نوشته نشده است.