کتاب ML and Generative AI in the Data Lakehouse

کتاب ML and Generative AI in the Data Lakehouse: Building and Deploying AI Applications at Scale (در دریاچه‌داده (Data Lakehouse)، یادگیری ماشین و هوش مصنوعی مولد: ساخت و استقرار برنامه‌های هوش مصنوعی در مقیاس بزرگ) نوشتهٔ بنی هیلن (Bennie Haelen) که توسط انتشارات O’Reilly Media منتشر شده است، یک راهنمای عملی برای متخصصان داده محسوب می‌شود تا بتوانند راه‌حل‌های هوش مصنوعی مقیاس‌پذیر و سفارشی‌شده را با استفاده از توان کامل معماری دریاچه‌داده (Data Lakehouse) و پلتفرم Databricks پیاده‌سازی کنند.

در ادامه مقدمه‌ای از کتاب ML and Generative AI in the Data Lakehouse را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب ML and Generative AI in the Data Lakehouse:

هوش مصنوعی دیگر صرفاً یک کنجکاوی پژوهشی محدود به مقالات دانشگاهی و دموهای اثبات مفهوم نیست. این فناوری در حال دگرگون کردن نحوه‌ای است که سازمان‌ها از داده‌ها ارزش استخراج می‌کنند، سیستم‌های نرم‌افزاری را می‌سازند و در مقیاس بزرگ تصمیم‌گیری می‌کنند. در مرکز این تحول، پلتفرمی قدرتمند و به‌سرعت در حال بلوغ قرار دارد: دیتا لیک‌هاوس (Data Lakehouse). لیک‌هاوس با ترکیب بازبودن و انعطاف‌پذیری یک دریاچه داده (Data Lake) با حاکمیت داده و کارایی یک انبار داده (Data Warehouse) به محیط طبیعی برای یادگیری ماشین (ML) و اخیراً برای هوش مصنوعی مولد (GenAI) و سیستم‌های عاملی (Agentic Systems) تبدیل شده است؛ سیستم‌هایی که عصر بعدی برنامه‌های هوشمند را شکل می‌دهند.

آنچه این مقطع را بسیار هیجان‌انگیز می‌کند، سرعت همگرایی فناوری‌هاست. یادگیری ماشین سنتی، مدل‌های زبانی بزرگ، مهندسی ویژگی (Feature Engineering)، سرو مدل‌ها، عامل‌های هوش مصنوعی و پروتکل‌هایی که آن‌ها را به هم متصل می‌کنند، همگی به‌طور هم‌زمان در حال بلوغ هستند. پلتفرم Databricks Data Intelligence دقیقاً در نقطه تلاقی همه این حوزه‌ها قرار دارد. کتاب ML and Generative AI in the Data Lakehouse درباره همین نقطه تلاقی است؛ درباره درک این که هر جزء به‌تنهایی چه کاری انجام می‌دهد و چگونه همه آن‌ها کنار هم قرار می‌گیرند تا یک سیستم منسجم، در سطح تولید (production-grade) برای AI و ML روی معماری لیک‌هاوس بسازند.

چه در حال آموزش اولین مدل scikit-learn خود در Databricks باشید، چه در حال ساخت یک پایپ‌لاین Retrieval-Augmented Generation (RAG)، چه در حال هماهنگ‌سازی جریان‌های کاری چندعاملی (multi‑agent workflows)، یا طراحی لایه‌ای برای اتصال مدل‌های زبانی به سیستم‌های داده سازمانی از طریق Model Context Protocol (MCP)، کتاب ML and Generative AI in the Data Lakehouse طیف کامل این موضوعات را پوشش می‌دهد. هدف این است که هم درک مفهومی و هم دانش عملی و کاربردی لازم را به شما بدهد تا بتوانید با اطمینان در تمام این حوزه‌ها حرکت کنید.

چه کسانی باید کتاب ML and Generative AI in the Data Lakehouse را بخوانند

این کتاب برای متخصصان داده و هوش مصنوعی نوشته شده است که با پلتفرم Databricks کار می‌کنند یا قصد دارند در محیط حرفه‌ای از آن استفاده کنند. به‌ویژه برای گروه‌های زیر ارزشمند خواهد بود:

• مهندسان داده و معماران داده که می‌خواهند بدانند بارهای کاری ML و GenAI چگونه در معماری لیک‌هاوسی که مدیریت می‌کنند جای می‌گیرند و چه الزامات جدیدی در زمینه زیرساخت و حاکمیت داده ایجاد می‌کنند.
• دانشمندان داده و مهندسان یادگیری ماشین که می‌خواهند فراتر از آزمایش در نوت‌بوک‌ها بروند و با استفاده از MLflow، Unity Catalog Feature Engineering و Databricks Model Serving سیستم‌های ML قابل تکرار، قابل حاکمیت و آماده تولید بسازند.
• مهندسان نرم‌افزار و رهبران فنی که سازمان خود را به سمت معماری‌های GenAI و سیستم‌های عاملی گسترش می‌دهند و می‌خواهند بدانند ابزارهایی مانند MCP و پروتکل Agent2Agent (A2A) چگونه با سیستم‌های داده سازمانی یکپارچه می‌شوند.
• معماران فناوری و تصمیم‌گیرندگان فنی که به یک مدل ذهنی جامع از پلتفرم Databricks Data Intelligence و نحوه ارتباط قابلیت‌های آن در حوزه‌های ML، GenAI و سیستم‌های عاملی نیاز دارند.

خوانندگان اگر با Python و مفاهیم پایه داده مانند جداول، اسکیمـاها و SQL آشنایی داشته باشند بیشترین بهره را از این کتاب خواهند برد. تجربه قبلی با Databricks مفید است اما ضروری نیست. فصل‌های ابتدایی کتاب ML and Generative AI in the Data Lakehouse زمینه لازم را فراهم می‌کنند تا بتوان با مطالب پیشرفته‌تر فصل‌های بعدی به‌خوبی تعامل داشت.

چرا کتاب ML and Generative AI in the Data Lakehouse را نوشتم

وقتی کار با پلتفرم Databricks را در محیط سازمانی آغاز کردم، مستندات زیادی درباره ویژگی‌های جداگانه وجود داشت: اینکه چگونه یک کلاستر را پیکربندی کنیم، چگونه با MLflow یک آزمایش را ثبت کنیم، یا چگونه یک مدل را ثبت کنیم. اما چیزی که پیدا نمی‌کردم یک منبع منسجم بود که همه این قطعات را کنار هم قرار دهد و تصویر واحدی از نحوه ساخت و اداره سیستم‌های AI و ML در مقیاس بزرگ روی معماری لیک‌هاوس ارائه دهد. همین خلأ انگیزه نوشتن کتاب ML and Generative AI in the Data Lakehouse شد.

از آن زمان چشم‌انداز این حوزه بسیار پیچیده‌تر شده است. GenAI از حاشیه به مرکز استراتژی فناوری سازمان‌ها آمده است. سیستم‌های عاملی—جایی که مدل‌های هوش مصنوعی استدلال می‌کنند، برنامه‌ریزی می‌کنند و در میان ابزارها و منابع داده اقدام انجام می‌دهند—به سرعت از مرحله نمونه اولیه به مرحله تولید نزدیک می‌شوند. MCP به عنوان یک استاندارد مهم برای یکپارچه‌سازی ظاهر شده است. پلتفرم Databricks نیز با سرعت قابل توجهی تکامل یافته و قابلیت‌هایی را در تمام این حوزه‌ها جذب و یکپارچه کرده است.

کتاب ML and Generative AI in the Data Lakehouse همان منبعی است که آرزو داشتم در اختیار داشته باشم: راهنمایی عملی و مبتنی بر معماری که کل طیف AI و ML در دیتا لیک‌هاوس را پوشش می‌دهد—از مفاهیم پایه تا الگوهای پیشرفته عامل‌محور و یکپارچه‌سازی. امید من این است که این کتاب نه‌تنها دانش استفاده از این ابزارها را به شما بدهد، بلکه درک لازم برای تصمیم‌گیری درست درباره زمان و نحوه استفاده از آن‌ها در محیط کاری خودتان را نیز فراهم کند.

راهنمای استفاده از کتاب ML and Generative AI in the Data Lakehouse

ساختار کتاب به‌گونه‌ای طراحی شده است که شما را از مفاهیم پایه به سمت معماری‌های پیشرفته و آماده تولید هدایت کند. فصل‌های کتاب ML and Generative AI in the Data Lakehouse روی یکدیگر بنا می‌شوند، اما هر کدام به‌گونه‌ای نوشته شده‌اند که به‌تنهایی نیز به‌عنوان مرجع قابل استفاده باشند.

فصل ۱: مروری بر یادگیری ماشین، هوش مصنوعی و GenAI
سیر تکامل هوش مصنوعی را بررسی می‌کند و چهار زیرحوزه ML را پوشش می‌دهد: یادگیری نظارت‌شده، بدون نظارت، نیمه‌نظارتی و تقویتی. سپس معماری‌های GenAI (مانند GAN، VAE و مدل‌های مبتنی بر ترنسفورمر) معرفی می‌شوند و توضیح داده می‌شود که چرا معماری لیک‌هاوس برای بارهای کاری AI و ML مناسب است.

فصل ۲: پلتفرم Databricks Data Intelligence
آشنایی دقیق با پلتفرم ارائه می‌دهد و انواع کلاسترها، حالت‌های دسترسی، ورک‌اسپیس‌ها و نوت‌بوک‌ها را توضیح می‌دهد. همچنین راهنمای عملی برای راه‌اندازی یک محیط ML ارائه می‌کند.

فصل ۳: مقدمه‌ای بر ML در Databricks
گردش کار کامل ML روی پلتفرم را پوشش می‌دهد و نقش MLflow را در کنار ابزارهای چرخه عمر مدل توضیح می‌دهد.

فصل ۴: یادگیری ماشین سرتاسری با MLflow

مفاهیم قبلی را در یک مثال عملی پیاده‌سازی می‌کند: یک پایپ‌لاین پیش‌بینی لغو رزرو هتل، از تحلیل اکتشافی داده تا مهندسی ویژگی، آموزش چند مدل طبقه‌بندی و انتخاب بهترین مدل.

فصل ۵: مهندسی ویژگی در Unity Catalog
نحوه کار مهندسی ویژگی در Databricks را توضیح می‌دهد، از جمله FeatureEngineeringClient، FeatureLookups، ساخت مجموعه آموزش و تفاوت بین جداول Delta آفلاین و فروشگاه‌های آنلاین برای سرو بلادرنگ.

فصل ۶: ML در مقیاس بزرگ
محدودیت‌های مقیاس‌پذیری چارچوب‌های تک‌گره‌ای را بررسی می‌کند و توضیح می‌دهد چگونه Apache Spark و Delta Lake پایه ML سازمانی را تشکیل می‌دهند.

فصل ۷: GenAI در لیک‌هاوس — مبانی و معماری
پایه‌های فنی که AI مولد را از AI پیش‌بینی‌کننده متمایز می‌کند بررسی می‌کند و چهار معماری اصلی مولد (VAE، GAN، diffusion و transformer) را توضیح می‌دهد.

فصل ۸: GenAI در محیط Databricks Lakehouse

GenAI را در گردش کارهای عملی Databricks قرار می‌دهد، از مهندسی پرامپت تا ساخت یک پایپ‌لاین کامل RAG.

فصل ۹: عامل‌های هوش مصنوعی در لیک‌هاوس
تعریف عامل‌های AI، معماری مرجع آن‌ها، چرخه عمر عامل و انواع حافظه مورد استفاده در آن‌ها را بررسی می‌کند.

فصل ۱۰: پروتکل Model Context Protocol (MCP)
MCP را به عنوان استاندارد نوظهور برای اتصال عامل‌های AI به ابزارها و منابع داده معرفی می‌کند.

فصل ۱۱: ارتباط Agent‑to‑Agent و چارچوب DSPy

کتاب ML and Generative AI in the Data Lakehouse را با دو موضوع پیشرفته به پایان می‌رساند: پروتکل A2A و چارچوب DSPy، همراه با یک مطالعه موردی در حوزه تحلیل خرده‌فروشی که در آن چند عامل تخصصی با همکاری هم یک سؤال کسب‌وکاری را بررسی می‌کنند.

سرفصل‌های کتاب ML and Generative AI in the Data Lakehouse:

• Cover
• Copyright
• Table of Contents
• Preface
• Chapter 1. An Overview of Machine Learning, Al, and GenAI
• Chapter 2. The Databricks Data Intelligence Platform
• Chapter 3. An Introduction to ML on Databricks
• Chapter 4. End-to-End ML with MLflow
• Chapter 5. Feature Engineering in the Unity Catalog
• Chapter 6. ML at Scale
• Chapter 7. GenAI in the Lakehouse: Foundations and Architecture
• Chapter 8. GenAI in a Databricks Lakehouse Environment
• Chapter 9. Al Agents in the Lakehouse
• Chapter 10. The Model Context Protocol
• Chapter 11. Agent-to-Agent Communication and the DSPy Framework
• Index
• About the Author
• Colophon

جهت دانلود کتاب ML and Generative AI in the Data Lakehouse می‌توانید پس از پرداخت، دریافت کنید.