کتاب RAG from First Principles: Engineering retrieval-augmented generation systems with Python, LangChain, and LlamaIndex (RAG از اصول اولیه: مهندسی سیستمهای تولید افزایشیافته با بازیابی با استفاده از پایتون، لنگچین، و لاماایندکس) نوشتهٔ Jia Huang، مهندس پژوهش ارشد در A*STAR سنگاپور و نویسندهٔ پرفروش کتابهای هوش مصنوعی، منبعی فنی و عمیق برای درک سیستمهای تولید افزایشیافته با بازیابی (RAG) است.
در ادامه مقدمهای از کتاب RAG from First Principles را از زبان نویسنده شرح خواهیم داد.
مقدمهای بر کتاب RAG from First Principles:
تولید تقویتشده با بازیابی (Retrieval‑Augmented Generation یا RAG) بهسرعت به یکی از مهمترین رویکردها برای ساخت سیستمهای هوش مصنوعی قابلاعتماد و هوشمند تبدیل شده است. با ترکیب مدلهای زبانی بزرگ با بازیابی دانش از منابع خارجی، RAG به برنامهها امکان میدهد پاسخهایی تولید کنند که دقیقتر، وابستهتر به زمینه، و مبتنی بر دادههای سازمانی باشند.
در کتاب RAG from First Principles، شما کل خط لوله RAG را از اصول پایه بررسی خواهید کرد؛ از مبانی امبدینگها (بردارهای معنایی)، ذخیرهسازی برداری و پایگاههای داده برداری آغاز میکنید و سپس به بهینهسازی پیشرفته بازیابی و راهبردهای تولید پاسخ میرسید. این کتاب نهتنها توضیح میدهد که سیستمهای RAG از نظر مفهومی چگونه کار میکنند، بلکه نشان میدهد چگونه در محیطهای عملی و آماده برای استفاده در تولید (production) پیادهسازی میشوند.
ابتدا یاد میگیرید که نمایشهای برداری چگونه ایجاد و مدیریت میشوند، از جمله اینکه امبدینگها چگونه ذخیره، ایندکس و بهطور کارآمد بازیابی میشوند با استفاده از پایگاههای داده برداری مانند Milvus و چارچوبهایی مانند LlamaIndex. کتاب معماری سیستمهای ذخیرهسازی برداری، روشهای ایندکسگذاری مانند FLAT و IVF، و موازنهها (trade-offs) در جستجوی شباهت و بازیابی در مقیاس بزرگ را توضیح میدهد.
سپس با تکنیکهای پردازش پیش از بازیابی آشنا میشوید، از جمله ساخت پرسوجو، ترجمه پرسوجو، جریانهای کاری Text‑to‑SQL، فیلتر کردن متادیتا، و مسیریابی پرسوجو، که امکان میدهد پرسشهای زبان طبیعی بهطور یکپارچه با منابع داده ساختیافته و بدون ساختار تعامل داشته باشند.
پس از ایجاد پایههای بازیابی، کتاب بر بهبود کیفیت بازیابی از طریق راهبردهای بهینهسازی ایندکس تمرکز میکند. یاد میگیرید چگونه با استفاده از تکنیکهایی مانند بازیابی پنجره جمله (sentence‑window retrieval)، قطعهبندی والد–فرزند (parent‑child chunking)، ایندکسگذاری سلسلهمراتبی، و روشهای گسترش زمینه (context expansion) با استفاده از LlamaIndex و LangChain، خط لولههای بازیابی دقیقتری طراحی کنید.
این فصلها بر تصمیمهای مهندسی عملی تأکید دارند که دقت بازیابی را افزایش میدهند و در عین حال زمینه کافی برای مرحله تولید حفظ میکنند. از طریق مثالهای کد دقیق و توضیح معماری، درک خواهید کرد که هنگام ساخت برنامههای RAG باکیفیت چگونه میان اندازه قطعهها (chunk granularity)، یادآوری زمینهای (contextual recall)، و مقیاسپذیری تعادل برقرار کنید.
در نهایت، کتاب RAG from First Principles مرحله تولید پاسخ در سیستمهای RAG را بررسی میکند و موضوعاتی مانند مهندسی پرامپت، تحلیل خروجی ساختیافته، بهبود صحت واقعیتها، و تکنیکهای کنترل تولید را پوشش میدهد. شما یاد میگیرید چگونه با استفاده از قالبها، مثالها، راهبردهای بررسی صحت اطلاعات، و پارسرهای ساختیافته در LangChain و LlamaIndex مدلهای زبانی بزرگ را هدایت کنید.
همچنین کتاب به انتخاب مدلهای تولید، استفاده از APIها و مدلهای محلی، و راهبردهای بهینهسازی پیشرفته مانند Self‑RAG و روشهای پالایش تکرارشونده میپردازد. در پایان این کتاب، قادر خواهید بود سیستمهای کامل RAG را طراحی، بهینهسازی و پیادهسازی کنید که بازیابی، استدلال و تولید را در قالب برنامههای مقیاسپذیر هوش مصنوعی برای کاربردهای واقعی سازمانی یکپارچه میکنند.
کتاب RAG from First Principles برای چه کسانی مناسب است؟
این کتاب برای مهندسان هوش مصنوعی، متخصصان یادگیری ماشین و توسعهدهندگان نرمافزار که در حال ساخت برنامههای مبتنی بر مدلهای زبانی بزرگ هستند و میخواهند درک عمیقتری از نحوه واقعی کارکرد بازیابی داشته باشند — نه فقط نحوه استفاده از یک چارچوب — مناسب است. این کتاب بهویژه برای خوانندگانی ایدهآل است که یک خط لوله ساده RAG ساختهاند و اکنون به دنبال شفافیت معماری و راهبردهای بهینهسازی هستند.
رهبران فنی و معماران سیستم که در حال طراحی سیستمهای هوش مصنوعی در محیطهای تولید هستند نیز از بررسی نظاممند موضوعاتی مانند ایندکسگذاری، جستجوی ترکیبی (hybrid search)، رتبهبندی مجدد (reranking) و ارزیابی بهره زیادی خواهند برد. آشنایی با پایتون و مفاهیم پایه مدلهای زبانی بزرگ فرض شده است.
کتاب RAG from First Principles چه موضوعاتی را پوشش میدهد:
فصل ۱: وارد کردن دادهها (Data Import)
این فصل فرایند بنیادی وارد کردن و تجزیه دادهها برای سیستمهای RAG را معرفی میکند. تکنیکهایی برای بارگذاری و پردازش انواع فایلها با استفاده از ابزارهایی مانند LangChain، LlamaIndex، Unstructured و Marker ارائه میدهد، از جمله کار با متن، فایلهای PDF، تصاویر، Markdown، فایلهای CSV، پایگاههای داده و محتوای وب.
همچنین موضوعاتی مانند ساختاردهی اسناد، مدیریت متادیتا، OCR، تجزیه چندوجهی (multimodal parsing) و تبدیل PDF به Markdown برای ساخت پایگاههای دانش مؤثر بررسی میشوند.
فصل ۲: قطعهبندی متن (Text Chunking)
این فصل از کتاب RAG from First Principles بر یکی از مهمترین مراحل پیشپردازش در سیستمهای RAG تمرکز دارد: تقسیم اسناد به قطعههای متنی بهینه برای امبدینگ، ایندکسگذاری، بازیابی و تولید. توضیح میدهد چرا قطعهبندی ضروری است و بر دقت بازیابی، انسجام معنایی، محدودیتهای پنجره زمینه (context window) و جلوگیری از رقیق شدن موضوع تأکید میکند.
همچنین توضیح میدهد چگونه مدلهای امبدینگ متن را به بردارهایی با ابعاد ثابت فشرده میکنند و چرا قطعههای بیشازحد بزرگ میتوانند کیفیت بازیابی را کاهش دهند.
فصل ۳: امبدینگ اطلاعات (Information Embedding)
این فصل از کتاب RAG from First Principles فناوری امبدینگ را بهعنوان فرایند کدگذاری اطلاعات خارجی در قالب نمایشهای برداری برای سیستمهای RAG معرفی میکند. تکامل مدلهای امبدینگ، امبدینگهای چندزبانه و چندوجهی، امبدینگهای پراکنده (sparse) و چگال (dense)، ارزیابی مدلها و روشهای تنظیم دقیق (fine‑tuning) در این فصل بررسی میشوند.
فصل ۴: ذخیرهسازی برداری (Vector Storage)
این فصل از کتاب RAG from First Principles توضیح میدهد که امبدینگهای برداری چگونه در پایگاههای داده برداری ذخیره، ایندکس و بازیابی میشوند. همچنین اجزای پایگاه داده برداری، روشهای ایندکسگذاری، معیارهای شباهت، پایگاههای داده برداری رایج و نمونههای عملی جستجوی برداری مبتنی بر Milvus را بررسی میکند.
فصل ۵: پردازش پیش از بازیابی (Pre‑Retrieval Processing)
این فصل از کتاب RAG from First Principles تکنیکهایی را بررسی میکند که قبل از مرحله بازیابی برای بهبود کیفیت پرسوجو و مسیریابی استفاده میشوند. موضوعاتی مانند ساخت پرسوجو، Text‑to‑SQL، Text‑to‑Cypher، فیلتر متادیتا، ترجمه پرسوجو و راهبردهای مسیریابی برای انتخاب مناسبترین مسیر بازیابی در این فصل مطرح میشوند.
فصل ۶: بهینهسازی ایندکس (Index Optimization)
این فصل از کتاب RAG from First Principles بر بهبود دقت بازیابی از طریق بهینهسازی نحوه ایندکسگذاری و بازیابی قطعههای متنی تمرکز دارد. موضوعاتی مانند راهبردهای بازیابی کوچک به بزرگ (small‑to‑large retrieval)، بازیابی پنجره جمله، بازیابی والد–فرزند، بهینهسازی متادیتا و سایر تکنیکهای ایندکسگذاری برای بهبود عملکرد RAG بررسی میشوند.
فصل ۷: پسپردازش بازیابی (Retrieval Post‑Processing)
این فصل از کتاب RAG from First Principles راهبردهای پیشرفته بازیابی را بررسی میکند که فراتر از جستجوی ساده شباهت برداری عمل کرده و دقت، ارتباط و کیفیت زمینهای سیستمهای RAG را بهبود میدهند. روشهایی مانند بازیابی ترکیبی، رتبهبندی مجدد، تبدیل پرسوجو، HyDE، بازیابی والد–فرزند، فیلتر متادیتا و بازیابی مبتنی بر گراف برای مدیریت بهتر سیستمهای دانش در مقیاس سازمانی بررسی میشوند.
فصل ۸: تولید پاسخ (Response Generation)
این فصل از کتاب RAG from First Principles مرحله تولید در سیستمهای RAG و روشهای بهبود کیفیت خروجی مدلهای زبانی بزرگ را بررسی میکند. موضوعاتی مانند بهبود پرامپت، قالببندی پاسخ، تحلیل خروجی، بررسی صحت اطلاعات و راهبردهای پیشرفته تولید مانند Self‑RAG و رویکردهای اصلاحی بازیابی–تولید پوشش داده میشوند.
فصل ۹: ارزیابی سیستم (System Evaluation)
این فصل از کتاب RAG from First Principles توضیح میدهد که سیستمهای RAG چگونه ارزیابی میشوند؛ با ارزیابی جداگانه کیفیت بازیابی و کیفیت تولید پاسخ با استفاده از معیارهایی مانند Precision، Recall، F1، MRR، MAP، BLEU، ROUGE، METEOR، میزان وفاداری به منبع (faithfulness) و ارتباط پاسخ با پرسش. همچنین چارچوب RAG TRIAD معرفی میشود و تأکید میکند که ارزیابی مؤثر RAG به ترکیبی از معیارهای کمی و قضاوت انسانی نیاز دارد.
فصل ۱۰: پارادایمهای پیچیده RAG (Complex RAG Paradigms)
این فصل از کتاب RAG from First Principles پارادایمهای نوظهور مانند GraphRAG، بازیابی مبتنی بر زمینه (contextual retrieval)، RAG ماژولار، RAG عاملمحور (Agentic RAG) و RAG چندوجهی (Multimodal RAG) را معرفی میکند و نشان میدهد چگونه این رویکردها استدلال چندمرحلهای، درک زمینه، انعطافپذیری و هوشمندی میانوجهی را در سیستمهای مدرن هوش مصنوعی بهبود میدهند.
همچنین رویکردهای در حال تکامل مانند بازیابی تکرارشونده، بازیابی تطبیقی، PlanRAG، AutoRAG و تنظیم دقیق تقویتشده با بازیابی (RAFT) بررسی میشوند و نشان میدهند که چارچوبهای بازیابی–تولید به سمت سیستمهایی خودمختارتر، مقیاسپذیرتر و هوشمندتر برای کاربردهای سازمانی و واقعی در حال حرکت هستند.
سرفصلهای کتاب RAG from First Principles:
- Contributors
- Preface
- Data Import
- Text Chunking
- Information Embedding
- Vector Storage
- Pre-Retrieval Processing
- Index Optimization
- Retrieval Post-Processing
- Response Generation
- System Evaluation
- Complex RAG Paradigms
- Unlock Your Exclusive Benefits
- Other Books You May Enjoy
- Index
جهت دانلود کتاب RAG from First Principles میتوانید پس از پرداخت، دریافت کنید.
دیدگاهها
هیچ دیدگاهی برای این محصول نوشته نشده است.