کتاب The Craft of Post-Training

کتاب The Craft of Post-Training: A Practical Guide for AI Engineers and Developers (هنر پس‌آموزش: راهنمای عملی برای مهندسان و توسعه‌دهندگان هوش مصنوعی) نوشتهٔ کریس فون چِفالوی (Chris von Csefalvay)، که توسط انتشارات No Starch Press منتشر می‌شود، یک راهنمای عملی برای تبدیل مدل‌های پایهٔ خام و عمومی به سیستم‌های قابل اعتماد و آماده برای تولید است.

کتاب The Craft of Post-Training که برای مهندسان و توسعه‌دهندگان هوش مصنوعی نوشته شده، به بررسی این نکته می‌پردازد که چگونه با استفاده از تکنیک‌های پس‌آموزشی (Post-Training) مانند نظارت بر تنظیم دقیق (SFT)، یادگیری تقویتی از بازخورد انسانی (RLHF) و روش‌های مدرن بهینه‌سازی ترجیحات مانند DPO و GRPO، می‌توان رفتار مدل را شکل داد و آن را برای حوزه‌های تخصصی مانند متون پزشکی یا حقوقی تطبیق داد.

در ادامه مقدمه‌ای از کتاب The Craft of Post-Training را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب The Craft of Post-Training:

این کتاب دربارهٔ پس‌آموزش (Post-Training) است؛ به‌ویژه دربارهٔ تکنیک‌ها، هنر و رویه‌هایی که پس‌آموزش خوب مدل‌های بزرگ در مقیاس سازمانی را ممکن می‌سازند. در جای خود تعریف می‌کنیم که منظور از «بستر سازمانی» چیست و «خوب» به چه معناست، اما پیش از آن باید به چالش تعریف‌ای پاسخ دهیم: پس‌آموزش دقیقاً چیست و چرا اهمیت دارد؟

مسیرهای مطالعه در این کتاب

کتاب The Craft of Post-Training برای چه کسانی نوشته شده و چگونه باید خوانده شود؟ چالش هم‌زمان خدمت به دو گروه — مهندسی که پیاده‌سازی می‌کند و مدیری که تصمیم می‌گیرد — تمام جنبه‌های کتاب از جمله محدوده، مفروضات و مسیرهای گوناگون مطالعه را شکل داده است.

آنچه پوشش می‌دهیم و چگونه

کتاب The Craft of Post-Training پوشش جامعی از تکنیک‌های پس‌آموزش ارائه می‌دهد: تنظیم دقیق نظارت‌شده (SFT) که از طریق نمایش آموزش می‌دهد، یادگیری تقویتی (RL) که برای ترجیحات بهینه‌سازی می‌کند، بهینه‌سازی مدل برای استقرار عملی، تطبیق دامنه برای دانش سازمانی، استفاده از ابزار برای گسترش قابلیت‌های مدل، و تکنیک‌های استدلال برای افزایش قابلیت اعتماد. فرض بر این است که خواننده با معماری ترنسفورمر و مبانی یادگیری ماشین آشناست، اما تمام مفاهیم پس‌آموزش از اصول اولیه ساخته می‌شوند و پیش‌نیازی به آشنایی با RLHF، DPO یا روش‌های مشابه ندارند.

ریاضیات در کتاب The Craft of Post-Training

مشتق‌گیری‌های ریاضی برای تکنیک‌های اصلی به‌طور کامل ارائه شده‌اند. برخلاف بسیاری از کتاب‌های فنی که ریاضیات را اختیاری می‌دانند، ما معتقدیم درک ریاضیات، سازگاری هوشمندانه با موقعیت‌های جدید را ممکن می‌سازد. ریاضیات در مدل‌های زبانی مانع نیست، بلکه میان‌بری برای درک عمیق‌تر است. وقتی یک اجرای تنظیم دقیق نتیجهٔ غیرمنتظره‌ای می‌دهد، متخصصی که بهینه‌سازی زیرین را درک می‌کند می‌تواند خطا را تشخیص دهد و علت آن را بیابد، بدون آنکه به «احساسات» یا «شانس» متکی باشد. ریاضیات تزئین نیست، بلکه بنیاد رویه‌ای اصولی است. کسانی که مایل به چشم‌پوشی از مشتقات هستند می‌توانند چنین کنند، اما من تشویق می‌کنم که با ریاضیات درگیر شوید تا به درک عمیق‌تری برسید.

کدها و نوت‌بوک‌ها

مثال‌های کد از نوت‌بوک‌های Jupyter همراه کتاب گرفته شده‌اند و بدون غرق کردن خواننده در جزئیات فنی، پیاده‌سازی را نشان می‌دهند. از اکوسیستم ثابتی استفاده می‌کنیم: PyTorch، Hugging Face (TRL، Transformers، datasets)، CUDA، Optuna، Hydra، SkyPilot و گاهی vLLM. این مجموعه منعکس‌کنندهٔ آن چیزی است که بیشتر متخصصان در تیم‌های قوی داده‌ورزی و هوش مصنوعی سازمانی با آن روبرو می‌شوند. نوت‌بوک‌ها به‌گونه‌ای طراحی شده‌اند که خواننده بتواند با کمترین اصطکاک از مطالعه به پیاده‌سازی برسد و به‌عنوان الگویی برای تطبیق با موارد استفادهٔ خاص عمل کنند. مثال‌ها آموزشی هستند اما اسباب‌بازی نیستند و میان‌بر نمی‌زنیم.

مخاطبان کتاب The Craft of Post-Training

این کتاب در درجهٔ اول برای مهندسان یادگیری ماشین شاغل نوشته شده که سیستم‌های پس‌آموزش را پیاده‌سازی می‌کنند. این خوانندگان با PyTorch راحت هستند، با گرادیان کاهشی آشنایی دارند، می‌توانند مقالهٔ پژوهشی را بخوانند و ایده‌های اصلی آن را پیاده‌سازی کنند. مدل‌هایی هرچند نه لزوماً LLM را پیشتر آموزش دیده‌اند و نیازی به توضیح مفاهیم پایه ندارند.

همزمان برای رهبران فنی هم می‌نویسم که باید بفهمند تیم‌شان چه می‌کند. این خوانندگان شاید خود پیاده‌سازی نکنند اما باید تصمیمات تخصیص منابع بگیرند، جهت‌گیری استراتژیک تعیین کنند و قابلیت‌ها و محدودیت‌ها را برای ذی‌نفعان توضیح دهند. برای این گروه، مشتقات ریاضی کمتر از شهودها و پیامدهای استراتژیک اهمیت دارد.

دیدگاه استراتژیک و جزئیات پیاده‌سازی دو نگرش جداگانه نیستند، بلکه مکمل یکدیگرند. مهندسی که فقط جزئیات را می‌داند تصمیمات معماری ضعیفی می‌گیرد و رهبری که فقط استراتژی می‌داند نمی‌تواند امکان‌سنجی یا زمان تخمین‌زنی کند. کوشیده‌ام به‌گونه‌ای بنویسم که هر دو گروه را پوشش دهد.

مسیرهای خوانش

کتاب The Craft of Post-Training را می‌توان به‌صورت خطی به‌عنوان یک دورهٔ جامع خواند یا به‌عنوان مرجع برای تکنیک‌های خاص استفاده کرد.

ساختار کتاب:

بخش اول (فصل‌های ۱ و ۲): مبانی — بررسی ضرورت پس‌آموزش، مرور تکنیک‌ها و پیش‌نیازهای معماری ترنسفورمر.

بخش دوم (فصل‌های ۳ تا ۶): تکنیک‌های هسته — SFT، یادگیری تقویتی (PPO)، روش‌های بهینه‌سازی ترجیحات (DPO، KTO، GRPO)، و ارزیابی.

بخش سوم (فصل‌های ۷ و ۸): بهینه‌سازی و تخصصی‌سازی — کم‌سازی، تنظیم دقیق کارآمد، تقطیر دانش، و تطبیق دامنه.

بخش چهارم (فصل‌های ۹ تا ۱۳): مباحث پیشرفته — استفاده از ابزار، استدلال، خودبازی، پس‌آموزش چندوجهی، و روندهای آینده.

نوت‌بوک‌های همراه در آدرس github.com/chrisvoncsefalvay/craft-of-post-training در دسترس هستند و برای اجرا روی سخت‌افزار مقرون‌به‌صرفه طراحی شده‌اند. نسخه‌های ویژه برای NVIDIA DGX Spark (با ۱۲۸ گیگابایت حافظه) و نسخه‌های رایگان برای Google Colab نیز ارائه شده‌اند.

کار با عامل‌های کدنویس (Code Agents)

پس‌آموزش شامل کارهای هماهنگی زیادی است که اغلب خسته‌کننده‌اند تا چالش‌برانگیز. نسل جدید ابزارهای کدنویسی با کمک هوش مصنوعی — مانند Claude Code، Cursor، Windsurf — به بلوغ رسیده‌اند که می‌توانند بخش قابل‌توجهی از این بار هماهنگی را بردارند. در سراسر کتاب، جعبه‌های «Vibe Check» به موقعیت‌هایی اشاره می‌کنند که عامل‌های کدنویس می‌توانند مفید یا خطرناک باشند. این جعبه‌ها نه تأیید بلکه مشاهده هستند.

سرفصل‌های کتاب The Craft of Post-Training:

• Cover Page
• Title Page
• Copyright Page
• Dedication Page
• About the Author
• About the Technical Reviewer
• BRIEF CONTENTS
• CONTENTS IN DETAIL
• PREFACE
• ACKNOWLEDGMENTS
• INTRODUCTION
• PART I: THE FOUNDATION
  • 1. POST-TRAINING ESSENTIALS: WHAT IT IS AND WHY IT MATTERS
  • 2. PREREQUISITES FOR SUCCESS: BEFORE YOU FINE-TUNE
• PART II: THE TOOLS
  • 3. SUPERVISED FINE-TUNING: THE FOUNDATION TECHNIQUE
  • 4. REINFORCEMENT LEARNING: BETTER EACH TIME
  • 5. PREFERENCE OPTIMIZATION: MODERN ALTERNATIVES TO PPO
  • 6. EVALUATION STRATEGIES: MEASURING MODEL QUALITY
• PART III: THE CRAFT
  • 7. EFFICIENCY TECHNIQUES: QUANTIZATION AND COMPRESSION
  • 8. DOMAIN ADAPTATION: MAKE IT YOURS
  • 9. AGENTIC MODELS: DEEDS, NOT WORDS
  • 10. REASONING CAPABILITIES: TRAINING FOR COMPLEX THOUGHT
• PART IV: THE FRONTIER
  • 11. SYNTHETIC TRAINING: SELF-PLAY AND GENERATED DATA
  • 12. MULTIMODAL SYSTEMS: POST-TRAINING BEYOND TEXT
  • 13. FUTURE DIRECTIONS: WHAT COMES NEXT
• NOTES
• INDEX

جهت دانلود کتاب The Craft of Post-Training می‌توانید پس از پرداخت، دریافت کنید.