کتاب Engineering Data Mesh in Azure Cloud

کتاب Engineering Data Mesh in Azure Cloud: Implement data mesh using Microsoft Azure’s Cloud Adoption Framework (مهندسی مش داده ها در Azure Cloud: با استفاده از Microsoft Azure’s Cloud Adoption Framework پیاده‌سازی داده مش) با ارزیابی چارچوب موجود شما قبل از کمک به شما در طراحی یک طراحی عملی شروع می‌شود.

همانطور که پیشرفت می کنید، روی Microsoft Cloud Adoption Framework برای Azure و چارچوب تجزیه و تحلیل در مقیاس ابر تمرکز خواهید کرد، که به شما کمک می‌کند تا به سرعت یک منطقه فرود برای شبکه داده خود در فضای ابری تنظیم کنید.

در ادامه مقدمه‌ای از کتاب Engineering Data Mesh in Azure Cloud را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب Engineering Data Mesh in Azure Cloud:

در سال ۲۰۱۹، زمک دهقانی وایت پیپر خود را در مورد مش داده‌ها در دوران حضورش در Thoughtworks منتشر کرد. در حالی که توجه بسیاری از شرکت‌های بزرگ را به خود جلب کرد، استفاده از مش داده‌ها آسان نبود. اکثر شرکت‌های بزرگ میراث قوی سیستم‌های تحلیلی دارند و انتقال آن‌ها به معماری مش می‌تواند کاری دلهره‌آور باشد. در عین حال، زمانی که مفاهیم نظری مش داده‌ها را به یک سیستم تحلیلی واقعی نگاشت می‌کنید، می‌تواند گیج‌کننده باشد.

در سال ۲۰۲۱، من شروع به کار با یک مشتری بزرگ مایکرؤسافت کردم که با پلتفرم تجزیه و تحلیل داده متمرکز خود درگیر بود. این پلت فرم بر اساس یک دریاچه داده مرکزی و یک پشته فناوری واحد بود.

سخت بود و برای همه سهامداران سخت بود. در نتیجه، بسیاری از پروژه‌ها زیرساخت‌های مخفی خود را ایجاد کردند و جزایری از داده‌ها، فناوری و تخصص را تولید کردند. ما معضلی را که تیم تجزیه و تحلیل مرکزی با آن مواجه بود مشاهده کردیم و معماری مش داده را پیشنهاد کردیم. به نظر می‌رسید که مش داده‌ها بیشتر چالش‌های آن‌ها در زمینه چابکی و پذیرش را حل می‌کند و همچنین در‌ها را به روی برخی از چالش‌های دیگر مانند حکمرانی فدرال باز می‌کند.

در سال بعد، ما به این مشتری کمک کردیم تا داده‌ها را مشبک کند. این یک سفر طولانی از کارگاه‌های متعدد و به دنبال آن یک مشارکت مشاوره بود که در آن مصنوعات مش داده‌ای را برای آن‌ها ساختیم. از آن زمان، من با چندین مشتری در پروژه‌های دیتا مش درگیر بوده‌ام. من به عنوان عضوی از تیمی از کارشناسان موضوعی در زمینه مش داده در مایکرؤسافت اروپا، سایر اعضای تیم مایکرؤسافت را در مورد نحوه تعامل، طراحی و مدیریت پروژه داده مش راهنمایی کرده‌ام.

در طول مسیر، متوجه شده‌ام که ترجمه تئوری داده مش به یک سیستم عملی و آماده برای تولید می‌تواند یک چالش باشد. اصطلاحات زیادی در اطراف پرتاب می‌شوند که در واقع می‌توانند پروژه‌های بزرگ را به خودی خود نشان دهند.

کتاب Engineering Data Mesh in Azure Cloud اطلاعات مربوط به تمام چالش‌ها (و راه‌حل‌های آن‌ها) در پیاده‌سازی مش داده‌ها در Microsoft Azure را ادغام می‌کند، از درک اصطلاحات مش داده و نگاشت آن به مصنوعات Microsoft Azure تا همه آن چیز‌های ناشناخته‌ای که فقط به عنوان موضوعاتی برای شما ذکر می‌شود. برای خودتان در سایر منابع مش داده. برخی از این موضوعات، مانند مدیریت اصلی داده‌ها، کیفیت داده‌ها و نظارت، می‌توانند به خودی خود سیستم‌های بزرگ و پیچیده‌ای باشند.

انگیزه اصلی نوشتن کتاب Engineering Data Mesh in Azure Cloud کمک به شما در درک مفاهیم مش داده و غوطه ور شدن در اجرای عملی آن‌ها است. با این کتاب، شما بیشتر بر مزایای یک معماری غیرمتمرکز تمرکز خواهید کرد و آن‌ها را در چشم انداز تحلیلی خود به کار خواهید برد، نه اینکه در همه اصطلاحات مش داده‌ها گرفتار شوید.

کتاب Engineering Data Mesh in Azure Cloud برای چه کسی است؟

این کتاب برای افرادی است که سیستم‌های تحلیلی متمرکز ساخته شده بر روی Microsoft Azure را برای شرکت‌های متوسط یا بزرگ مدیریت می‌کنند و به دنبال ارائه چابکی و انعطاف‌پذیری بیشتری به سهامداران خود هستند.

کتاب Engineering Data Mesh in Azure Cloud همچنین برای شرکت‌های کوچکی‌ایده‌آل است که در حال حاضر سیستم تحلیلی طراحی‌شده‌ای ندارند و می‌خواهند‌ایده ساختن یک سیستم تحلیلی توزیع‌شده را برای رسیدگی به نیاز‌های رشد و چابکی آینده بررسی کنند.

آنچه کتاب Engineering Data Mesh in Azure Cloud پوشش می‌دهد:
فصل اول، معرفی مش‌های داده، به طور خلاصه مفاهیم کتاب وایت پیپر اصلی زمک دهقانی را در مورد مش داده‌ها پوشش می‌دهد.

فصل ۲، ساختن یک استراتژی مش داده، شما را در ارزیابی سطح بلوغ فعلی شرکت خود در مورد تجزیه و تحلیل، همسو کردن استراتژی شرکت با استراتژی کسب و کار، و اینکه چگونه معماری شبکه داده می‌تواند در آن نقش داشته باشد، راهنمایی می‌کند.

فصل ۳، استقرار مش داده با استفاده از چارچوب تجزیه و تحلیل مقیاس ابری Azure، چارچوب تجزیه و تحلیل مقیاس ابری خود مایکرؤسافت را برای اجرای مش داده‌ها پوشش می‌دهد.

فصل ۴، ساخت چارچوب حاکمیت مش داده با استفاده از خدمات مایکرؤسافت آژور، در مورد اینکه چگونه کلید اجرای موفق داده مش، مدیریت حاکمیت فدرال است، صحبت می‌کند. این فصل از کتاب Engineering Data Mesh in Azure Cloud، تمام جنبه‌های حاکمیت شبکه داده را پوشش می‌دهد و آن را با سرویس‌های Microsoft Azure که می‌توان برای پیاده‌سازی آن استفاده کرد، تراز می‌کند.

فصل ۵، معماری امنیتی برای مش‌های داده، چگونگی ایجاد چالش‌های امنیتی را با داده‌های توزیع شده پوشش می‌دهد. فصل ۴ امنیت شبکه را مورد بحث قرار می‌دهد. در این فصل، جنبه‌های مختلف امنیت داده‌ها مانند کنترل دسترسی و نگهداری را مورد بحث قرار خواهیم داد.

فصل ۶، استقرار خودکار از طریق مدیر منابع Azure و Azure DevOps، به چگونگی ایجاد محیط‌ها و محصولات توزیع شده با داده‌ها و تجزیه و تحلیل‌های توزیع شده می‌پردازد. کلید مدیریت مؤثر محیط خود اتوماسیون است. این فصل از کتاب Engineering Data Mesh in Azure Cloud، شما را در تمام جنبه‌های خودکارسازی استقرار و مدیریت شبکه داده راهنمایی می‌کند.

فصل ۷، ساخت یک پورتال سلف سرویس برای عملیات مشترک داده مش، بررسی می‌کند که چگونه مش داده‌ها چابکی و نوآوری را با دموکراتیک کردن داده‌ها و فناوری‌های تحلیلی ارتقا می‌دهد.

یکی از راه‌های توانمندسازی کاربران داده مش، دادن ابزار‌هایی برای کشف داده‌ها و محیط‌های استقرار است. یک روش معمول ایجاد یک پورتال مش داده سلف سرویس است. در این فصل از کتاب Engineering Data Mesh in Azure Cloud، راهنمایی‌هایی در مورد نحوه طراحی و ساخت پورتال سلف سرویس ارائه می‌شود.

فصل ۸، نحوه طراحی، ساخت، و مدیریت قرارداد‌های داده، به این موضوع می‌پردازد که چگونه مش داده‌ها مالکیت داده‌ها را به هم متصل می‌کند. هر تیم مسئول کیفیت و قابلیت اطمینان داده‌های خود است. در چنین سناریویی چگونه اعتماد ایجاد می‌کنید؟ این فصل از کتاب Engineering Data Mesh in Azure Cloud، روش و فرآیند رسمی حفظ قرارداد‌های داده و SLA را مورد بحث قرار می‌دهد که به ایجاد اعتماد و افزایش قابلیت اطمینان شبکه داده کمک می‌کند.

فصل ۹، مدیریت کیفیت داده، به بررسی این موضوع می‌پردازد که چگونه با رشد شبکه داده، محصولات داده برای نتایج خود به یکدیگر وابسته می‌شوند. برخی از این محصولات تجزیه و تحلیل کلیدی را ارائه می‌دهند که برای عملیات تجاری بسیار مهم است. کیفیت بد داده یک محصول داده می‌تواند چندین محصول را تحت تأثیر قرار دهد. این فصل از کتاب Engineering Data Mesh in Azure Cloud، نحوه ساخت/خرید یک سیستم مدیریت کیفیت داده در کلاس سازمانی را نشان می‌دهد.

فصل ۱۰، مدیریت داده‌های اصلی، به مدیریت داده‌های اصلی (MDM) می‌پردازد، که یک دیدگاه یکپارچه و منسجم از موجودیت‌های داده‌های حیاتی در سراسر سازمان ارائه می‌دهد. این برای اصل داده مش در مالکیت و معماری داده غیرمتمرکز دامنه گرا ضروری است. در این فصل از کتاب Engineering Data Mesh in Azure Cloud، گزینه‌های خرید و ساخت برای MDM برای مش داده را بررسی خواهیم کرد.

فصل ۱۱، نظارت و مشاهده‌پذیری داده، نظارت و مشاهده‌پذیری داده‌ها را پوشش می‌دهد، که برای شبکه داده بسیار مهم هستند، زیرا بینش‌های بلادرنگ را در مورد سلامت، عملکرد و قابلیت اطمینان داده‌ها در دامنه‌های غیرمتمرکز امکان‌پذیر می‌کنند. همچنین یکی از چالش برانگیزترین ویژگی‌ها برای پیاده‌سازی است. این شامل نظارت بر محصولات و داده‌های داده است. در این فصل، ما یک مرکز عملیات مش داده (DMOC) طراحی خواهیم کرد تا تمام جنبه‌های نظارت را در یک صفحه شیشه‌ای یکپارچه کند.

فصل ۱۲، نظارت بر هزینه‌های مش داده‌ها و ایجاد یک مدل شارژ متقابل، چگونگی سیستم‌های تحلیلی معمولاً مراکز هزینه را پوشش می‌دهد. آن‌ها سرمایه‌گذاری هستند و راه‌های زیادی برای مدیریت و توزیع هزینه‌ها وجود دارد. این فصل از کتاب Engineering Data Mesh in Azure Cloud، به مدل‌های مختلف هزینه، سیستم‌های نظارت بر هزینه‌ها و روش‌های توزیع هزینه‌های اجزای مشترک و جداگانه می‌پردازد.

فصل ۱۳، درک توپولوژی‌های اشتراک‌گذاری داده در یک مش داده، به این می‌پردازد که چگونه یکی از ویژگی‌های مش داده‌ها به حداقل رساندن حرکت داده‌ها در سراسر سازمان است. مفهوم اشتراک‌گذاری در محل را معرفی می‌کند.

با این حال، اشتراک‌گذاری در محل محدودیت‌ها و چالش‌های خود را دارد. این فصل از کتاب Engineering Data Mesh in Azure Cloud، توپولوژی‌های مختلف اشتراک‌گذاری داده را مورد بحث قرار می‌دهد و سناریو‌های مختلف برای استفاده از هر توپولوژی را توصیف می‌کند.

فصل ۱۴، تجزیه و تحلیل پیشرفته با استفاده از یادگیری ماشین Azure، Databricks و Lakehouse Architecture، یک فصل مرجع است که یکی از رایج‌ترین معماری‌های مورد استفاده برای تجزیه و تحلیل پیشرفته را شرح می‌دهد: معماری lakehouse. معماری lakehouse قابلیت‌های ذخیره‌سازی مقیاس‌پذیر یک دریاچه داده را با ویژگی‌های مدیریت داده و تراکنش ACID یک انبار داده ترکیب می‌کند، و حجم کاری تحلیلی و تراکنشی را در یک پلتفرم ممکن می‌سازد.

فصل ۱۵، تجزیه و تحلیل داده‌های بزرگ با استفاده از تجزیه و تحلیل Azure Synapse، به این موضوع می‌پردازد که چگونه پردازش داده‌های بزرگ یک سناریوی رایج در اکثر شرکت‌های امروزی است. این فصل مرجع یک معماری ممکن را با Azure Synapse Analytics مورد بحث قرار می‌دهد.

فصل ۱۶، تجزیه و تحلیل رویداد محور با استفاده از هاب رویداد Azure، تجزیه و تحلیل جریان Azure، و یادگیری ماشینی Azure، به این موضوع می‌پردازد که چگونه حوزه‌های خاصی، مانند تجزیه و تحلیل داده‌های رسانه‌های اجتماعی، تدارکات، و زنجیره تأمین، نیاز به زمان واقعی یا تقریباً واقعی دارند. تجزیه و تحلیل زمانی داده‌ها این نوع پردازش داده به انواع خدمات و ذخیره‌سازی نیاز دارد. این فصل از کتاب Engineering Data Mesh in Azure Cloud، این اجزای پردازش رویداد و نحوه چیدمان آن‌ها را در یک معماری تحلیلی بلادرنگ مورد بحث قرار می‌دهد.

فصل ۱۷، هوش مصنوعی با استفاده از خدمات شناختی Azure و Azure OpenAI، به این موضوع می‌پردازد که چگونه هوش مصنوعی و یادگیری ماشینی نیاز‌های بسیار متفاوتی در پردازش داده دارند.

آن‌ها به چرخه‌های سریع آموزش و آموزش مجدد نیاز دارند زیرا داده‌ها و مدل‌ها با زمان جابجا می‌شوند. مدل‌های زبان بزرگ مفاهیمی مانند مهندسی سریع و زنجیره‌ای را به ارمغان می‌آورند. این فصل از کتاب Engineering Data Mesh in Azure Cloud، معماری‌های مدرن را برای نحوه ساخت مدل‌های مبتنی بر خدمات شناختی Azure و Azure OpenAI برای تعاملات مبتنی بر زبان طبیعی با داده‌های شرکت شما شرح می‌دهد.

سرفصل‌های کتاب Engineering Data Mesh in Azure Cloud:

• Engineering Data Mesh in Azure Cloud
• Contributors
• About the author
• About the reviewer
• Preface
• Part 1: Rolling Out the Data Mesh in the Azure Cloud
  • Chapter 1: Introducing Data Meshes
  • Chapter 2: Building a Data Mesh Strategy
  • Chapter 3: Deploying a Data Mesh Using the Azure Cloud-Scale Analytics Framework
  • Chapter 4: Building a Data Mesh Governance Framework Using Microsoft Azure Services
  • Chapter 5: Security Architecture for Data Meshes
  • Chapter 6: Automating Deployment through Azure Resource Manager and Azure DevOps
  • Chapter 7: Building a Self-Service Portal for Common Data Mesh Operations
• Part 2: Practical Challenges of Implementing a Data Mesh
  • Chapter 8: How to Design, Build, and Manage Data Contracts
  • Chapter 9: Data Quality Management
  • Chapter 10: Master Data Management
  • Chapter 11: Monitoring and Data Observability
  • Chapter 12: Monitoring Data Mesh Costs and Building a Cross-Charging Model
  • Chapter 13: Understanding Data-Sharing Topologies in a Data Mesh
• Part 3: Popular Data Product Architectures
  • Chapter 14: Advanced Analytics Using Azure Machine Learning, Databricks, and the Lakehouse Architecture
  • Chapter 15: Big Data Analytics Using Azure Synapse Analytics
  • Chapter 16: Event-Driven Analytics Using Azure Event Hubs, Azure Stream Analytics, and Azure Machine Learning
  • Chapter 17: AI Using Azure Cognitive Services and Azure OpenAI
• Index
• Other Books You May Enjoy

جهت دانلود کتاب Engineering Data Mesh in Azure Cloud می‌توانید پس از پرداخت، دریافت کنید.