کتاب Architecting Data and Machine Learning Platforms: Enable Analytics and AI-Driven Innovation in the Cloud (داده‌های معماری و سکوهای یادگیری ماشین: فعال کردن تجزیه و تحلیل و نوآوری مبتنی بر هوش مصنوعی در فضای ابری) در 12 فصل مفاهیم معماری داده و سکوهای یادگیری ماشین و ارتباط آن‌ها با یکدیگر را شرح خواهد داد.
در ادامه مقدمه‌ای از کتاب Architecting Data and Machine Learning Platforms را از زبان نویسنده شرح خواهیم داد.
مقدمه‌ای بر کتاب Architecting Data and Machine Learning Platforms:
سکوی داده چیست؟ چرا شما به آن نیاز دارید؟ ساخت سکوی داده و یادگیری ماشین (ML) شامل چه چیزی است؟ چرا باید سکوی داده خود را روی ابر بسازید؟ این کتاب با پاسخ دادن به این سؤالات رایجی که هنگام برخورد با پروژه‌های داده و ML مطرح خواهد شد، شروع می‌شود. سپس سفر استراتژیکی را که به شما توصیه می‌کنیم برای ایجاد قابلیت‌های داده و ML در کسب‌وکارتان انجام دهید، به شما نشان می‌دهیم که چگونه در هر مرحله از آن استراتژی اجرا کنید، و همه مفاهیم را در یک مورد مدرن‌سازی داده مدل جمع‌بندی می‌کنیم.
چرا به سکوی داده ابری نیاز دارید؟
تصور کنید که مدیر ارشد فناوری (CTO) شرکت شما می‌خواهد یک وب سایت تجارت الکترونیک سازگار با موبایل جدید بسازد. او ادعا می‌کند: «ما در حال از دست دادن تجارت هستیم، زیرا وب سایت ما برای تلفن‌های همراه، به ویژه به زبان‌های آسیایی بهینه نشده است.»
مدیر ارشد اجرایی (CEO) وقتی می‌گوید که تجربه کاربری تلفن همراه وب‌سایت کنونی عالی نیست، به CTO اعتماد می‌کند، اما او نمی‌داند که آیا مشتریانی که از طریق تلفن‌های همراه به سکو دسترسی دارند، بخش سودآوری از جمعیت را تشکیل می‌دهند. او با رئیس عملیات در آسیا تماس می‌گیرد و می‌پرسد: «درآمد و حاشیه سود مشتریانی که با تلفن‌های همراه به سایت تجارت الکترونیک ما می‌رسند چقدر است؟ اگر تعداد افرادی را که از طریق موبایل خرید می‌کنند افزایش دهیم، درآمد کلی ما در سال آینده چگونه تغییر می‌کند؟
رهبر منطقه ای در آسیا چگونه به این سوال پاسخ می‌دهد؟ این نیاز به توانایی ارتباط بین بازدیدهای مشتری (برای تعیین منشأ درخواست‌های HTTP)، خریدهای مشتری (برای دانستن آنچه خریداری کرده اند) و اطلاعات خرید (برای تعیین هزینه آن موارد) دارد. همچنین نیاز به پیش‌بینی رشد در بخش‌های مختلف بازار دارد. آیا رهبر منطقه باید با بخش فناوری اطلاعات (IT) تماس بگیرد و از آن‌ها بخواهد که اطلاعات لازم را از همه این منابع مختلف جمع آوری کنند و برنامه ای برای محاسبه این آمار بنویسند؟ آیا دپارتمان فناوری اطلاعات پهنای باند لازم برای پاسخ به این سوال و مهارت انجام تحلیل پیش‌بینی را دارد؟
اگر سازمان دارای سکوی داده باشد چقدر بهتر است؟ در این حالت، تمام داده‌ها قبلاً جمع آوری و پاکسازی شده و برای تجزیه و تحلیل و ترکیب در سراسر سازمان در دسترس خواهند بود. یک تیم تحلیلگر داده به سادگی می‌تواند یک پرس و جوی تعاملی و موقت را اجرا کند. آن‌ها همچنین می‌توانند با بهره‌گیری از قابلیت‌های هوش مصنوعی داخلی (AI) پیش‌بینی‌هایی از درآمد و الگوهای ترافیک را ایجاد یا بازیابی کنند و اجازه دهند تصمیمی مبتنی بر داده‌ها در مورد درخواست CTO برای سرمایه‌گذاری در یک وب‌سایت جدید سازگار با موبایل گرفته شود.
یکی از راه‌های ممکن برای پاسخ به سوال مدیر عامل، تهیه و استقرار یک ابزار نظارت بر کاربر واقعی (RUM) است. بسیاری از ابزارهای خاص در دسترس هستند، یکی برای هر تصمیم یکباره مانند این. داشتن یک سکوی داده به سازمان این امکان را می‌دهد تا بدون نیاز به تهیه و نصب مجموعه‌ای از این راه‌حل‌های خاص، به بسیاری از این سؤالات یکباره پاسخ دهد.
سازمان‌های مدرن به طور فزاینده ای می‌خواهند بر اساس داده‌ها تصمیم بگیرند. مثال ما بر یک تصمیم یکباره متمرکز بود. با این حال، در بسیاری از موارد، سازمان‌ها می‌خواهند برای هر تراکنش به صورت خودکار و مکرر تصمیم بگیرند. به عنوان مثال، سازمان ممکن است بخواهد تعیین کند که آیا یک سبد خرید در خطر رها شدن است یا خیر و فوراً گزینه‌های اقلام ارزان قیمتی را که می‌توان به سبد خرید اضافه کرد تا حداقل برای حمل و نقل رایگان را برآورده کرد، به مشتری نشان دهد. این اقلام باید برای خریدار مجذوب شوند و بنابراین نیاز به تجزیه و تحلیل قوی و قابلیت ML دارند.
برای تصمیم‌گیری بر اساس داده‌ها، سازمان‌ها به یک سکوی داده و ML نیاز دارند که به سادگی:
- دسترسی به داده‌ها
- اجرای یک پرس و جو تعاملی و موقت
- ایجاد گزارش
- تصمیم گیری خودکار بر اساس داده‌ها
- شخصی سازی خدمات کسب و کار
همانطور که در کتاب Architecting Data and Machine Learning Platforms خواهید دید، سکوهای داده مبتنی بر ابر موانع فنی را برای همه این قابلیت‌ها کاهش می‌دهند: دسترسی به داده‌ها از هر نقطه، انجام پرس‌وجوهای سریع و در مقیاس بزرگ حتی در دستگاه‌های لبه، و بهره‌گیری از خدماتی امکان‌پذیر است. بسیاری از قابلیت‌های تجزیه و تحلیل و هوش مصنوعی را ارائه می‌دهد.
با این حال، قرار دادن تمام بلوک‌های سازنده مورد نیاز برای دستیابی به آن، گاهی اوقات می‌تواند یک سفر پیچیده باشد. هدف کتاب Architecting Data and Machine Learning Platforms این است که به خوانندگان کمک کند تا درک بهتری از مفاهیم اصلی، الگوهای معماری و ابزارهای موجود برای ساختن سکوهای داده ابری مدرن داشته باشند تا بتوانند دید و کنترل بهتری بر داده‌های شرکتی خود برای ایجاد تجارت معنادارتر و خودکارتر به دست آورند. تصمیمات
ما، نویسندگان کتاب Architecting Data and Machine Learning Platforms، مهندسانی هستیم که سال‌ها تجربه در کمک به شرکت‌ها در طیف گسترده‌ای از صنایع و مناطق جغرافیایی در ساخت سکوهای داده و ML داریم. این شرکت‌ها می‌خواهند بینش‌هایی را از داده‌های خود به‌دست آورند، اما اغلب با چالش‌های بسیاری برای دریافت تمام داده‌های مورد نیاز خود به شکلی که بتوان آن‌ها را به سرعت تجزیه و تحلیل کرد، مواجه هستند. بنابراین، آن‌ها خود را مجبور به ساخت یک سکوی داده و ML مدرن می‌دانند.
کتاب Architecting Data and Machine Learning Platforms مال کیه؟
این کتاب برای معمارانی است که می‌خواهند با ایجاد یک سکوی داده و ML با استفاده از فناوری‌های ابر عمومی، از تصمیم‌گیری مبتنی بر داده در تجارت خود حمایت کنند. مهندسان داده، تحلیلگران داده، دانشمندان داده و مهندسان ML کتاب Architecting Data and Machine Learning Platforms را برای به دست آوردن یک دیدگاه طراحی مفهومی از سیستم‌هایی که ممکن است در بالای آن پیاده‌سازی کنند، مفید خواهند یافت.
شرکت‌های بومی دیجیتال چندین سال است که این کار را انجام می‌دهند.
در اوایل سال 2016، توییتر توضیح داد که تیم سکوی داده آن‌ها «سیستم‌هایی را برای پشتیبانی و مدیریت تولید و مصرف داده‌ها برای اهداف مختلف تجاری، از جمله معیارهای گزارش شده عمومی، توصیه‌ها، آزمایش A/B، هدف‌یابی تبلیغات و غیره، حفظ می‌کند». در سال 2016، این شامل حفظ یکی از بزرگترین خوشه‌های Hadoop در جهان بود. تا سال 2019، این در حال تغییر بود و شامل پشتیبانی از استفاده از راه‌حل ذخیره‌سازی داده بومی ابری می‌شد.
بیشتر بخوانید: کتاب Hadoop The Definitive Guide
Etsy، برای مثالی دیگر، می‌گوید که سکوی ML آن‌ها “با توسعه و حفظ زیرساخت فنی که پزشکان ML Etsy برای نمونه‌سازی، آموزش و استقرار مدل‌های ML در مقیاس به آن تکیه می‌کنند، از آزمایش‌های ML پشتیبانی می‌کند.”
هم توییتر و هم Etsy سکوهای مدرن داده و ML ساخته اند. سکوهای این دو شرکت برای پشتیبانی از انواع مختلف داده‌ها، پرسنل و موارد استفاده تجاری که سکوها نیاز به پشتیبانی دارند، متفاوت هستند، اما رویکرد اساسی تقریباً مشابه است. در کتاب Architecting Data and Machine Learning Platforms، ما به شما نشان خواهیم داد که چگونه یک سکوی داده و ML مدرن را طراحی کنید که مهندسان در تجارت شما را قادر می‌سازد:
جمع‌آوری داده‌ها از منابع مختلف مانند پایگاه‌های داده عملیاتی، جریان کلیک مشتری، دستگاه‌های اینترنت اشیا (IoT)، برنامه‌های نرم‌افزار به عنوان سرویس (SaaS) و غیره.
- سیلوها را بین قسمت‌های مختلف سازمان خراب کنید
- پردازش داده‌ها در حین مصرف یا پس از بارگیری آن‌ها در حالی که فرآیندهای مناسب برای کیفیت و مدیریت داده‌ها را تضمین می‌کند
- داده‌ها را به طور معمول یا موردی تجزیه و تحلیل کنید
- داده‌ها را با مدل‌های از پیش ساخته شده هوش مصنوعی غنی کنید
- ساخت مدل‌های ML برای انجام تحلیل‌های پیش‌بینی
- روی داده‌ها به طور معمول یا در پاسخ به رویدادها یا آستانه‌های محرک عمل کنید
- بینش را منتشر کنید و تجزیه و تحلیل را جاسازی کنید
اگر با مدل‌های داده و ML در شرکت‌ها کار می‌کنید، کتاب Architecting Data and Machine Learning Platforms مقدمه خوبی برای ملاحظات معماری است، زیرا از شما خواسته می‌شود که کار خود را بر روی سکویی که توسط تیم سکوی داده یا ML شما ساخته شده است انجام دهید. بنابراین، اگر شما یک مهندس داده، تحلیلگر داده، دانشمند داده یا مهندس ML هستید، این کتاب را برای به دست آوردن دیدگاه طراحی سیستم‌های سطح بالا مفید خواهید یافت.
حتی با وجود اینکه تجربه اولیه ما با Google Cloud است، ما تلاش می‌کنیم تا با آوردن نمونه‌هایی از هر سه ارائه‌دهنده اصلی ابر (یعنی خدمات وب آمازون [AWS) یک چشم‌انداز ابر ناشناس از خدماتی که زیربنای معماری‌ها هستند حفظ کنیم. ]، Microsoft Azure و Google Cloud).
سازمان کتاب Architecting Data and Machine Learning Platforms
این کتاب در 12 فصل سازماندهی شده است که گام‌های استراتژیک برای نوآوری را با داده‌هایی که در فصل 2 به تفصیل توضیح داده می‌شود، نشان می‌دهد. کتاب Architecting Data and Machine Learning Platforms با یک سناریوی مورد استفاده مدل به پایان می‌رسد تا نشان دهد که چگونه یک سازمان ممکن است به سفر نوسازی خود نزدیک شود.
نمایش بصری جریان کتاب Architecting Data and Machine Learning Platforms در شکل P-1 گزارش شده است.
فصل 1 کتاب Architecting Data and Machine Learning Platforms به این موضوع می‌پردازد که چرا سازمان‌ها باید سکوی داده بسازند. همچنین رویکردها، روندهای فناوری و اصول اصلی در سکوهای داده را پوشش می‌دهد.
در فصل‌های 2 و 3 کتاب Architecting Data and Machine Learning Platforms، ما بیشتر به چگونگی برنامه‌ریزی سفر، شناسایی گام‌های استراتژیک برای نوآوری و نحوه اعمال تغییر می‌پردازیم. در اینجا ما مفاهیمی مانند کاهش هزینه کل مالکیت (TCO)، حذف سیلوهای داده، و نحوه استفاده از هوش مصنوعی برای باز کردن قفل نوآوری را مورد بحث قرار خواهیم داد. ما همچنین بلوک‌های سازنده چرخه عمر داده را تجزیه و تحلیل می‌کنیم، درباره نحوه طراحی تیم داده‌تان بحث می‌کنیم و یک طرح پذیرش را توصیه می‌کنیم. در فصل 4، این موارد را در چارچوب مهاجرت ادغام می‌کنیم.
در فصل‌های 5، 6 و 7 کتاب Architecting Data and Machine Learning Platforms، سه مورد از رایج‌ترین معماری‌ها برای سکوهای داده را مورد بحث قرار می‌دهیم – دریاچه‌های داده (فصل 5)، انبارهای داده (فصل 6)، و دریاچه‌ها (فصل 7). ما نشان می‌دهیم که خانه‌های دریاچه را می‌توان به یکی از دو روش ساخت، که از یک دریاچه داده یا یک انبار داده به این معماری تکامل می‌یابد، و در مورد چگونگی انتخاب بین این دو مسیر بحث می‌کنیم.
در فصل‌های 8 و 9 کتاب Architecting Data and Machine Learning Platforms، دو الحاق رایج الگوی خانه دریاچه را مورد بحث قرار می‌دهیم. ما نشان می‌دهیم که چگونه می‌توان در زمینه سریع‌تر و در زمان واقعی از طریق معرفی الگوهای جریان و نحوه پشتیبانی از معماری‌های ترکیبی با گسترش به لبه، تصمیم‌گیری کرد.
فصل 10 و 11 کتاب Architecting Data and Machine Learning Platforms، نحوه ساخت و استفاده از AI/ML در محیط‌های سازمانی و نحوه طراحی معماری برای طراحی، ساخت، ارائه و تنظیم مدل‌های نوآورانه را پوشش می‌دهد. این فصل‌ها شامل مدل‌های پیش‌بینی‌کننده ML و مدل‌های مولد هستند.
در نهایت، در فصل 12 کتاب Architecting Data and Machine Learning Platforms، نگاهی به یک مدل سفر موردی نوسازی داده‌ها با تمرکز بر نحوه مهاجرت از معماری قدیمی به معماری جدید خواهیم داشت و فرآیندی را که توسط آن یک سازمان می‌تواند یک راه‌حل خاص را انتخاب کند، توضیح می‌دهد.
اگر شما یک معمار ابر هستید که وظیفه ایجاد یک سکوی داده و ML را برای کسب و کار خود دارید، تمام فصول کتاب Architecting Data and Machine Learning Platforms را به ترتیب بخوانید.
اگر شما یک تحلیلگر داده هستید که وظیفه شما ایجاد گزارش، داشبورد و تجزیه و تحلیل جاسازی شده است، فصل‌های 1، 4 تا 7، و 10 را بخوانید.
اگر شما یک مهندس داده هستید که خطوط لوله داده را می‌سازد، فصل‌های 5 تا 9 را بخوانید. فصل‌های باقی‌مانده را مرور کنید و هنگامی که به نوع خاصی از برنامه‌ها نیاز دارید، از آن‌ها به عنوان مرجع استفاده کنید.
اگر شما یک دانشمند داده هستید که مسئول ساخت مدل‌های ML هستید، فصل‌های 7، 8، 10 و 11 را بخوانید.
اگر شما یک مهندس ML هستید که علاقه مند به عملیاتی کردن مدل‌های ML هستید، فصل‌های 1 تا 9 را مرور کنید و فصل‌های 10 و 11 را به دقت مطالعه کنید.
سرفصل‌های کتاب Architecting Data and Machine Learning Platforms:
- Preface
- 1. Modernizing Your Data Platform: An Introductory Overview
- 2. Strategic Steps to Innovate with Data
- 3. Designing Your Data Team
- 4. A Migration Framework
- 5. Architecting a Data Lake
- 6. Innovating with an Enterprise Data Warehouse
- 7. Converging to a Lakehouse
- 8. Architectures for Streaming
- 9. Extending a Data Platform Using Hybrid and Edge
- 10. AI Application Architecture
- 11. Architecting an ML Platform
- 12. Data Platform Modernization: A Model Case
- Index
- About the Authors
جهت دانلود کتاب Architecting Data and Machine Learning Platforms می‌توانید پس از پرداخت، دریافت کنید.
دیدگاهها
هیچ دیدگاهی برای این محصول نوشته نشده است.