کتاب The Cloud Data Lake

کتاب The Cloud Data Lake: A Guide to Building Robust Cloud Data Architecture (دریاچه داده‌های ابری: راهنمای ساختن معماری داده‌های ابری قوی) مفاهیم مربوط به دریاچه داده را در رایانش ابری شرح خواهد داد.

در ادامه مقدمه‌ای از کتاب The Cloud Data Lake را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب The Cloud Data Lake:

ساعت شش صبح است. تلفن شما به آرامی شما را بیدار می‌کند و به طور خودکار اعلان‌های شما را روشن می‌کند. یخچال هوشمند شما به شما یادآوری می‌کند که باید شیر سفارش دهید و گزینه‌ای برای ثبت سفارش برای خرید بیشتر به شما نشان می‌دهد زیرا می‌داند در حال اتمام است. شما این کار را انجام می‌دهید و روی دستگاه ورزشی خود می‌پرید، جایی که انتخاب‌های شخصی‌شده را بر اساس روتین‌های تمرینی خود می‌بینید.

آماده می‌شوید و صبحانه می‌خورید بدون اینکه زحمت نگاه کردن به ساعت داشته باشید، زیرا می‌دانید که تلفنتان بر اساس اطلاعاتی که در مورد رفت‌وآمد شما و الگو‌های ترافیکی آموخته است، به شما می‌گوید که زمان شروع رانندگی است. هنگام خروج، دستیار خانه هوشمند شما از خاموش شدن چراغ‌ها و قفل شدن در‌ها اطمینان می‌دهد. چیزی که چند دهه پیش به نظر می‌رسید علمی تخیلی بود، اکنون یک روز عادی در زندگی ماست.

همه این‌ها به دلیل جهش‌هایی است که فناوری در سه حوزه کلیدی ایجاد کرده است: دستگاه‌هایی که محاسبات را در همه جا فراگیر کرده‌اند، اتصالی که با آوردن دانش اینترنت به این دستگاه‌ها جهان را کوچک کرده است، و فناوری (داده، هوش مصنوعی، یادگیری ماشینی). ) که به دستگاه‌ها کمک کرده الگو‌ها را یاد بگیرند و تصمیم بگیرند. داده‌ها اکنون در قلب نحوه عملکرد جهان قرار دارند و سازمان‌ها به طور فزاینده‌ای به داده‌ها برای اطلاع‌رسانی و تغییر کسب و کار خود متکی هستند.

ذهن من به سال ۲۰۱۳ برمی گردد، زمانی که سفر شخصی من با داده‌ها آغاز شد و من روی خدمات هویت و شخصی‌سازی برای مایکرؤسافت آفیس کار می‌کردم. آن سال برای من سالی بود که آموخته‌های زیادی داشت. من متوجه شدم که منظور از توسعه برنامه‌های کاربردی مبتنی بر ابر، از جمله تفاوت‌های ظریف ایجاد یک تجربه مستقیم برای مصرف‌کننده در مقابل یک برنامه کاربردی آماده برای سازمان است.

با این حال، بیشتر از همه، من از امکان ارتباط مستقیم با تجربیات مشتری از این خدمات ابری هیجان‌زده بودم. هنگامی که محصولات جعبه‌دار را ارسال می‌کردیم (مثلاً محصولاتی که در یک سی‌دی یا دی‌وی‌دی ارسال می‌شدند) و مشتریان آن‌ها را روی دستگاه‌هایشان نصب می‌کردیم، تنها راه برای ما برای درک تجربیات آن‌ها دریافت داده‌های تله‌متری ناشناس، سازمان‌دهی مطالعات تحقیقاتی کاربر یا گروه‌های متمرکز بود، یا خواندن موارد پشتیبانی زمانی که مشتری مشکل داشت. بسیاری از بینش‌های ما در مورد استفاده از محصول بر اساس داده‌های مشتریانی بود که تصمیم گرفتند با ما صحبت کنند، که کسری دقیقه بود.

با خدمات ابری که ساختم، درک لحظه‌ای از مشتریانم داشتم. این به ما کمک کرد تا خدمات خود را تنظیم کنیم و تجربیات شخصی‌سازی‌شده‌تری را به کاربران خود ارائه دهیم. ما توانستیم انواع ویژگی‌ها را با مشتریان خود آزمایش کنیم تا بهتر بفهمیم چه چیزی به بهره‌وری آن‌ها کمک می‌کند. از آن زمان، من روی پلتفرم‌ها و سرویس‌های ابری مختلف کار می‌کنم و متوجه شدم که چگونه ارزش داده‌ها، زمانی که با کشش ابر تقویت می‌شود، می‌تواند به اطلاع‌رسانی و تغییر کسب‌وکار کمک کند.

بیشتر بخوانید: کتاب Data Engineering with Apache Spark Delta Lake and Lakehouse

چرا کتاب The Cloud Data Lake را نوشتم؟

من در طول سال‌ها با صد‌ها مشتری در صنایع مختلف – مراقبت‌های بهداشتی، کالا‌های مصرفی، خرده‌فروشی، و تولید، تعامل داشته‌ام و به آن‌ها در مورد نیاز‌های تجزیه و تحلیل داده‌های بزرگشان در فضای ابری کمک کرده‌ام. من همچنین برای مدیریت هزینه بهتر و همچنین استفاده از فناوری‌های نوظهور در یادگیری ماشین، بار کاری تجزیه و تحلیل درون محل سازمانم را به فضای ابری منتقل کرده‌ام.

قابل درک است که هر یک از این مشتریان با انگیزه‌ها و مشکلات متفاوتی به من مراجعه می‌کنند. با این حال، یک موضوع مشترک همه آن‌ها را به هم پیوند می‌دهد: میل شدید به دریافت ارزش از داده‌هایشان. همان مشتریانی که پنج سال پیش در مورد مبانی تجزیه و تحلیل داده‌های بزرگ با آن‌ها صحبت می‌کردم، اکنون به اجرای پیاده‌سازی‌های بسیار بالغ و اجرای بیشتر بار‌های کاری حیاتی تجاری خود در دریاچه داده پیشرفت کرده‌اند.

به عنوان بخشی از این گفتگو‌ها، چند سؤال کلیدی وجود دارد که به راه‌اندازی، سازماندهی، ایمن‌سازی و بهینه‌سازی پیاده‌سازی داده‌ها خلاصه می‌شود. در سناریوی‌ایده‌آل، این ملاحظات در طراحی معماری دریاچه داده گنجانده می‌شوند، و در برخی موارد ناگوار، زمانی که مشتریان در مجبور کردن معماری مجدد یا طراحی مجدد مشکل دارند، در مورد این مسائل صحبت می‌کنیم.

وعده فرصت‌های بی‌نهایت بهره‌برداری از دریاچه داده‌های ابری همراه با درک و مدیریت پیچیدگی‌های موجود در ساخت و عملیاتی کردن یک برنامه دریاچه داده ابری است. من معتقدم که در حالی که صنعت روی ساده‌سازی این فرآیند در طول زمان کار می‌کند، درک اساسی از مفاهیم راه‌حل دریاچه داده‌های ابری، راه درازی را به سوی ساخت معماری‌های دریاچه داده‌ای قوی که در آزمون زمان مقاومت می‌کنند، پیش می‌برد. من کاملاً از کمک به مشتریان، شرکا و تیم‌هایم برای ایجاد این درک اساسی و تماشای آن‌ها برای ایجاد بینش‌های دگرگون‌کننده برای تیم‌ها یا سازمان‌هایشان، بسیار لذت برده‌ام.

در کتاب The Cloud Data Lake، ‌امیدوارم تمام این مکالمات و درس‌های مرتبط با آن را فشرده کنم تا رویکردی برای دست اندرکاران داده ارائه کنم که به شما در طراحی معماری دریاچه داده‌های ابری مقیاس‌پذیر کمک می‌کند که کسب‌وکار شما را اطلاع‌رسانی و متحول کند.

چه کسی باید کتاب The Cloud Data Lake را بخواند؟

این کتاب در درجه اول معماران داده، توسعه‌دهندگان داده و متخصصان عملیات داده را هدف قرار داده است که می‌خواهند درک گسترده‌ای از جنبه‌های مختلف راه‌اندازی و راه‌اندازی دریاچه داده ابری خود به دست آورند. در پایان کتاب The Cloud Data Lake، درک درستی از موارد زیر خواهید داشت:

• مزایای استراتژی کلان داده مبتنی بر ابر برای سازمان شما
• انتخاب‌های معماری و طراحی، از جمله انبار داده مدرن، دریاچه داده و مش داده
• راهنمایی و بهترین شیوه‌ها برای طراحی دریاچه‌های داده عملکردی و مقیاس‌پذیر
• اصول حاکمیت داده، استراتژی‌ها و انتخاب‌های طراحی

چه در حال برداشتن اولین قدم‌های خود باشید و چه به دنبال مدرن‌سازی دریاچه داده‌های خود در فضای ابری هستید، ‌امید من این است که آماده باشید تا یک مکالمه طراحی آگاهانه و تحصیل کرده با ارائه‌دهنده ابر و تیم‌های مهندسی خود داشته باشید و بتوانید برنامه‌ریزی کنید و بودجه برای سرمایه‌گذاری‌های مهندسی شما از نظر زمان، تلاش و پول. تجزیه و تحلیل داده‌های بزرگ یکی از حوزه‌هایی است که توسعه، فناوری‌ها و تغییرات پارادایم در یک چشم به هم زدن اتفاق می‌افتد.

برای من، این نشان دهنده فرصت‌های فراوانی است که اکنون امکان‌پذیر است. من ملاحظات هر فناوری خاصی را خنثی می‌کنم، بنابراین وقتی یک فناوری جدید پدیدار شد، ما قادر خواهیم بود این اصول را در زمینه همه انتخاب‌های فناوری موجود به کار ببریم.

معرفی شرکت کلودرس

در کتاب The Cloud Data Lake، مفاهیم دریاچه داده‌های ابری را در یک سازمان ساختگی، شرکت Klodars به کار می‌بریم تا با استفاده از یک مشکل تجاری که برای اکثر ما طنین‌انداز می‌شود، آن‌ها را به بهترین شکل نشان دهیم.

شرکت Klodars یک سازمان ساختگی است که چتر و وسایل بارانی را در سیاتل، واشنگتن می‌فروشد (کلیشه‌ای؟ ). Klodars علاوه بر فروش وب سایت، فروشندگانی را استخدام می‌کند تا با خرده فروشان تماس بگیرند تا چتر‌های خود را به عنوان توزیع عمده در منطقه سیاتل بفروشند.

یک تیم توسعه نرم‌افزار کوچک دارد که برنامه‌هایی را برای مدیریت موجودی و فروش می‌نویسد و از سرور SQL به عنوان پایگاه داده عملیاتی در حال اجرا بر روی سرور‌هایی که در دفاتر آن نگهداری می‌شوند، استفاده می‌کند. همچنین از Salesforce برای مدیریت پروفایل‌ها و تعاملات مشتریان خود استفاده می‌کند.

به دلیل کیفیت تجهیزات بارانی و کانال‌های فروش عالی، شرکت Klodars به سرعت در حال گسترش در سراسر ایالت واشنگتن و همچنین در ایالت‌های همسایه اورگان و آیداهو است. تجارت مستقیم به مصرف‌کننده آن از طریق وب سایت خود در حال گسترش است و بخش بازاریابی آن کمپین‌های عالی را در رسانه‌های اجتماعی اجرا می‌کند.

علاوه بر این، کلودرس می‌خواهد تجارت خود را برای فروش تجهیزات زمستانی بر اساس تقاضای مشتری گسترش دهد. بنابراین قصد دارد یک تجارت دیگر را که فروش تجهیزات زمستانی است، خریداری کند. در حالی که این خبر شگفت‌انگیزی برای کسب‌وکار است، اما در آن نقطه عطف است که فناوری پایگاه داده آن کاملاً به نیاز‌های روزافزون آن مقیاس نمی‌رسد و در حال ارزیابی حرکت به سمت ابر است.

پیمایش در کتاب The Cloud Data Lake:

در حالی که توصیه می‌کنم برای درک کامل این کتاب را از انتها تا انتها بخوانید، هر فصل از کتاب The Cloud Data Lake مستقل است و می‌توانید بسته به آنچه در ذهن خود دارید، روی موضوعات خاصی تمرکز کنید.

همچنین می‌توانید در هر زمانی به کتاب The Cloud Data Lake بازگردید و به بخش‌های خاصی مراجعه کنید، بدون اینکه نیازی به خواندن از ابتدا داشته باشید.

در پایان فصل ۱ کتاب The Cloud Data Lake، به درک کلی از معنای دریاچه داده ابری و مزایای آن خواهید رسید. همچنین متوجه خواهید شد که حرکت به سمت ابر مستلزم تفکر از طریق ملاحظات طراحی و انجام یک انتخاب آگاهانه است، در مقابل حرکت با رویکرد افزایش و تغییر.

در فصل ۲ کتاب The Cloud Data Lake، به معماری‌های دریاچه داده‌های ابری مختلف می‌پردازم و ارزش پیشنهادی هر معماری را خواهید فهمید. در پایان این فصل از کتاب The Cloud Data Lake، می‌توانید بر اساس درک اساسی فصل ۱ ایجاد کنید و درباره سناریو‌هایی که این معماری‌های ابری حل می‌کنند بدانید و همچنین نمونه‌های ملموسی از نحوه استفاده سازمان از این معماری‌ها به دست‌آورید

داده‌ها طلا، روغن، بیکن جدید هستند… استعاره مورد علاقه خود را در اینجا وارد کنید. کلید معماری دریاچه داده ابری، طراحی قوی لایه داده شما است که پایه و اساس هر سناریویی را که بر روی آن می‌سازید، قرار می‌دهد. فصل ۳ به جزئیات لایه بنیادی دریاچه داده شما و جنبه‌های مختلف طراحی، سازماندهی و مدیریت داده‌های شما در دریاچه داده می‌پردازد.

اکیداً توصیه می‌کنم به این فصل توجه زیادی داشته باشید تا به شما کمک کند دریاچه داده‌های خود را نه تنها برای برآورده کردن نیاز‌های فوری خود، بلکه برای افزایش مقیاس با رشد کسب‌وکارتان طراحی کنید.

در فصل ۴ کتاب The Cloud Data Lake، در مورد ملاحظات مختلف برای طراحی دریاچه داده شما برای مقیاس صحبت خواهم کرد. من همچنین مجموعه‌ای از بهترین روش‌ها را برای شما ارائه خواهم کرد که در حین ساخت مجموعه داده‌ها و خطوط لوله داده، در نظر بگیرید.

فصل‌های ۵ و ۶ کتاب The Cloud Data Lake به دو جنبه عمیق می‌پردازند: تنظیم دریاچه داده‌های ابری خود برای برآورده کردن عملکرد مورد نظر و قالب‌های داده‌ای که به عنوان بلوک‌های ساختمانی حیاتی برای عملکرد عمل می‌کنند.

در فصل ۷ کتاب The Cloud Data Lake، بر اساس آموخته‌های فصل‌های قبل، چارچوب تصمیم‌گیری را معرفی می‌کنم که می‌توانید از آن برای انتخاب درست برای معماری دریاچه داده خود استفاده کنید. من همچنین یک چک لیست ارائه می‌کنم که می‌توانید برای یک مرجع آسان از آن استفاده کنید.

فصل ۸ کتاب The Cloud Data Lake بخش مهمی برای سؤالاتی است که ممکن است قبلاً در کتاب به آن‌ها پاسخ داده نشده باشد. همانطور که قبلاً اشاره کردم، جامعه دریاچه داده در حال رشد است و به سرعت در حال نوآوری است زیرا ما هر روز بیشتر یاد می‌گیریم. شما فرصتی دارید که بر این نوآوری‌ها تأثیر بگذارید و‌ایده‌های خود را به روی میز بیاورید. در این میان، بر پیشرفت تمرکز کنیم، نه کمال. ارزش زیادی وجود دارد که فقط از این پیشرفت ناشی می‌شود.

به طور خلاصه، پس از خواندن کتاب The Cloud Data Lake، شما اصول اولیه هر چیزی که برای ساختن یک دریاچه داده ابری نیاز است را درک خواهید کرد و می‌توانید این درک را به طرق مختلف اعمال کنید، از جمله موارد زیر:

• از انتخاب‌های طراحی موجود در کتاب برای ایجاد یک استراتژی داده استفاده کنید که با رشد نیاز‌های سازمانی و تجاری مقیاس می‌شود
• به تصمیم گیرندگان کلیدی بگویید که چگونه یک تیم پلت فرم داده ناب می‌تواند با استفاده از یک استراتژی داده قوی، تحولات کلیدی کسب و کار را ایجاد کند
• با زیرساخت داده‌های مقیاس‌پذیر، سازمان خود را برای تمرکز بر مشکلات کلیدی کسب و کار توانمند کنید
• با استفاده از پیشنهادات تحلیلی پیشرفته در ابر، ارزش بیشتری از داده‌ها دریافت کنید

سرفصل‌های کتاب The Cloud Data Lake:

• Preface
• 1. Big Data—Beyond the Buzz
• 2. Big Data Architectures on the Cloud
• 3. Design Considerations for Your Data Lake
• 4. Scalable Data Lakes
• 5. Optimizing Cloud Data Lake Architectures for Performance
• 6. Deep Dive on Data Formats
• 7. Decision Framework for Your Architecture
• 8. Six Lessons for a Data Informed Future
• A. Cloud Data Lake Decision Framework Template
• Index
• About the Author

جهت دانلود کتاب The Cloud Data Lake می‌توانید پس از پرداخت، دریافت کنید.