کتاب Build a Reasoning Model (From Scratch)

کتاب Build a Reasoning Model (From Scratch) (ساخت یک مدل استدلالی (از صفر)) نوشته سباستین راشکا، یک راهنمای کاملاً عملی برای درک و ساخت مدل‌های استدلالی (Reasoning Models) است که رویکردی گام‌به‌گام و مبتنی بر کدنویسی از صفر دارد. این کتاب با فرض اینکه یک مدل زبانی بزرگ (LLM) از پیش‌آموزش‌دیده در اختیار دارید، شما را به‌ترتیب از مرحلهٔ ارزیابی مدل و تولید متن پایه، به‌سمت روش‌های ارتقای استدلال در زمان اجرا بدون تغییر وزن‌ها (مانند Best-of-N، رأی‌گیری اکثریت و خود-بهبوددهی) و سپس به‌سمت روش‌های مبتنی بر آموزش مانند یادگیری تقویتی با پاداش‌های قابل‌راستی‌آزمایی و تقطیر (Distillation) هدایت می‌کند.

در ادامه مقدمه‌ای از کتاب Build a Reasoning Model (From Scratch) را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب Build a Reasoning Model (From Scratch):

بیش از یک دهه پیش، سفر من به دنیای هوش مصنوعی با دسته‌بندی آماری الگوها آغاز شد، جایی که آموختم مدل‌های نسبتاً ساده وقتی ساختار مفیدی را در داده‌ها می‌کنند، چقدر می‌توانند پیش بروند. با گذشت زمان، این کنجکاوی از مدل‌هایی که الگوها را تشخیص می‌دهند به مدل‌هایی تغییر یافت که می‌توانند توضیح دهند، برنامه‌ریزی کنند و مسائل چندمرحله‌ای را حل کنند.

با انتشار چت‌جی‌پی‌تی در سال ۲۰۲۲، مدل‌های زبانی بزرگ به جریان اصلی راه یافتند. تغییری بعدی، که به‌ویژه در اواخر سال ۲۰۲۴ و در سراسر سال ۲۰۲۵ قابل‌مشاهده بود، گسترش مدل‌های زبانی بزرگ به سمت ایجاد به‌اصطلاح مدل‌های استدلالی بود که می‌توانند مسائل پیچیده‌تری را حل کنند، به‌ویژه در حوزه‌های فنی مانند ریاضیات و کدنویسی.

در عین حال، مدل‌های استدلالی می‌توانند مبهم به نظر برسند، و این کتاب تلاش من برای قابل‌دسترس‌تر کردن مدل‌های استدلالی است. به‌جای آموزش یک مدل غول‌پیکر از ابتدا، با یک مدل زبانی بزرگ از پیش‌آموزش‌دیدهٔ کوچک شروع می‌کنیم و تکنیک‌های استدلالی را گام‌به‌گام اعمال می‌کنیم. در طول مسیر، تولید متن، ارزیابی با تأییدگرها، روش‌های مقیاس‌سازی زمان استنتاج، و روش‌های آموزشی مانند یادگیری تقویتی با پاداش‌های قابل‌تأیید و تقطیر از ابتدا را پیاده‌سازی خواهید کرد. در پایان، درک خواهید کرد که روش‌های اصلی استدلال در عمل چگونه کار می‌کنند و چگونه در یک جریان کار مدرن توسعهٔ مدل‌های زبانی بزرگ جای می‌گیرند.

مانند کتاب قبلی من، «ساخت یک مدل زبانی بزرگ (از صفر)»، این کتاب نیز رویکردی کد-محور دارد، اما تمرکز در اینجا متفاوت است. به‌جای توضیح عمیق معماری ترنسفورمر یا پوشش آموزش در مقیاس بزرگ، در اینجا بر روش‌هایی متمرکز می‌شویم که یک مدل زبانی بزرگ معمولی را به یک مدل استدلالی تبدیل می‌کنند. اگر کتاب قبلی را خوانده‌اید، این کتاب باید مانند یک گام طبیعی بعدی به نظر برسد. اگر نخوانده‌اید، باز هم می‌توانید بدون نیاز به دانستن تمام جزئیات زیربنایی مدل‌های زبانی بزرگ از ابتدا، مطالب را دنبال کنید.

در سراسر کتاب Build a Reasoning Model (From Scratch) از مثال‌های ریاضی استفاده خواهیم کرد، زیرا برای تحقیقات استدلالی کاربردی هستند و به‌راحتی قابل تأیید خودکارند. این آن‌ها را به یک بستر آزمایشی مفید برای درک اینکه آیا یک مدل واقعاً مسئله‌ای را به‌درستی حل می‌کند تبدیل می‌کند. به‌طور کلی‌تر، هدف من آموزش یک معیار محدود خاص نیست، بلکه دادن ابزارها و شهود لازم به شما برای ساخت، ارزیابی و بهبود سیستم‌های استدلالی در کار خودتان است.

وقتی برای اولین بار شروع به کار روی مدل‌های استدلالی کردم، مجبور بودم ایده‌ها را از مقالات، مخازن و یادداشت‌های پراکندهٔ پیاده‌سازی جمع‌آوری کنم. امیدوارم این کتاب آن تلاش را برای شما صرفه‌جویی کند و مسیری روشن‌تر از اصول اولیه تا کد عملیاتی به شما بدهد. من عمیقاً معتقدم که بهترین راه برای درک مدل‌های استدلالی این است که خودتان یکی را بسازید.

خواندن و کدنویسی خوشی داشته باشید!

دربارهٔ کتاب Build a Reasoning Model (From Scratch)

«ساخت یک مدل استدلالی (از صفر)» راهنمایی عملی برای درک نحوهٔ عملکرد مدل‌های زبانی بزرگ استدلالی مدرن است، با پیاده‌سازی تکنیک‌های اصلی آن‌ها به‌صورت دستی. به‌جای آموزش یک مدل پایه از ابتدا، این کتاب با یک مدل زبانی بزرگ منبع‌باز از پیش‌آموزش‌دیده شروع می‌کند و گام‌به‌گام نشان می‌دهد که چگونه قابلیت‌های استدلالی را به آن اضافه کنید.

در طول مسیر، یاد خواهید گرفت که چگونه با یک مدل پایه متن تولید کنید، پاسخ‌ها را با استفاده از تأییدگرها ارزیابی کنید، عملکرد را از طریق مقیاس‌سازی در زمان استنتاج بهبود دهید، با یادگیری تقویتی آموزش دهید، و رفتار استدلالی را در مدل‌های کوچک‌تر تقطیر کنید. در پایان کتاب، درک خواهید کرد که روش‌های اصلی استدلال چگونه در یک جریان کار عملی توسعهٔ مدل‌های زبانی بزرگ در کنار هم قرار می‌گیرند و چگونه می‌توانید سیستم‌های استدلالی کوچک اما کاربردیِ خود را بسازید.

کتاب Build a Reasoning Model (From Scratch) رویکردی کد-محور دارد. بخش «از صفر» به این معناست که خودتان روش‌های استدلالی را پیاده‌سازی می‌کنید تا مکانیزم‌های زیرین شفاف شوند. اگر به جزئیات ساخت و آموزش مدل‌های زبانی بزرگ پایه علاقه‌مندید، کتاب قبلی من، «ساخت یک مدل زبانی بزرگ (از صفر)» (http://mng.bz/M96o)، آن پایه‌ها را فراهم می‌کند، اما برای خواندن این کتاب ضروری نیست.

کتاب Build a Reasoning Model (From Scratch) برای چه کسانی است؟

«ساخت یک مدل استدلالی (از صفر)» برای علاقه‌مندان به یادگیری ماشین، مهندسان، پژوهشگران، دانشجویان و توسعه‌دهندگان نرم‌افزار طراحی شده است که می‌خواهند درک عملی از نحوهٔ کار مدل‌های استدلالی و چگونگی پیاده‌سازی تکنیک‌های اصلی پشت آن‌ها داشته باشند. این کتاب برای خوانندگانی نوشته شده که می‌خواهند فراتر از توضیحات سطح بالا رفته و ببینند این سیستم‌ها چگونه در کد ساخته، ارزیابی و بهبود داده می‌شوند.

مهم‌ترین پیش‌نیاز، تجربهٔ خوب در پایتون است. آشنایی قبلی با یادگیری ماشین، یادگیری عمیق یا مدل‌های زبانی بزرگ مفید است، اما نیازی به متخصص بودن ندارید. کتاب به‌گونه‌ای طراحی شده که برای مبتدیان باانگیزه قابل‌دسترس باشد و در عین حال عمق فنی کافی را برای متخصصان باتجربه فراهم کند.

کتاب Build a Reasoning Model (From Scratch) به‌دفعات از مثال‌های ریاضی استفاده می‌کند، زیرا برای تحقیقات استدلالی کاربردی هستند و به‌راحتی قابل تأیید خودکارند. با این حال، ریاضیات پیشرفته لازم نیست. آشنایی با جبر پایه و سطح عمومیِ راحتی با بردارها و ماتریس‌ها برای دنبال کردن برخی از پیاده‌سازی‌های کد مفید است.

برخی تجربهٔ قبلی با پایتورچ ممکن است به شما کمک کند سریع‌تر در کد پیش بروید، اما الزامی نیست. تمرکز کتاب بر درک روش‌های استدلالی و پیاده‌سازی واضح آن‌هاست، نه تسلط بر تمام جزئیات یک فریم‌ورک یادگیری عمیق. خوانندگانی که قبلاً «ساخت یک مدل زبانی بزرگ (از صفر)» را خوانده‌اند، ممکن است برخی مفاهیم کلی‌تر مدل‌های زبانی بزرگ را تشخیص دهند، اما این کتاب کاملاً خودکفا است.

ساختار کتاب Build a Reasoning Model (From Scratch): نقشهٔ راه

این کتاب حول یک خط‌لولهٔ توسعهٔ عملی برای مدل‌های استدلالی سازماندهی شده است. با یک مدل زبانی بزرگ از پیش‌آموزش‌دیدهٔ معمولی شروع می‌کنیم، ارزیابی را اضافه می‌کنیم تا بتوانیم پیشرفت را اندازه‌گیری کنیم، و سپس دو راه اصلی برای بهبود استدلال را بررسی می‌کنیم: روش‌های زمان استنتاج و آموزش اضافی. از آنجا که فصل‌های بعدی مستقیماً بر روی کد و ایده‌های معرفی‌شده در فصل‌های قبل بنا می‌شوند، بهتر است کتاب را به‌ترتیب بخوانید.

فصل ۱ کتاب Build a Reasoning Model (From Scratch) معنای عملی استدلال در زمینهٔ مدل‌های زبانی بزرگ را معرفی می‌کند. توضیح می‌دهد که مدل‌های استدلالی چگونه با مدل‌های زبانی بزرگ معمولی تفاوت دارند، خط‌لولهٔ استاندارد آموزش مدل‌های زبانی بزرگ را در سطح بالا مرور می‌کند، و رویکردهای اصلی مورد استفاده برای بهبود استدلال را معرفی می‌نماید.

فصل ۲  کتاب Build a Reasoning Model (From Scratch)نقطهٔ شروع را با بارگذاری و استفاده از یک مدل زبانی بزرگ پایهٔ از پیش‌آموزش‌دیده ایجاد می‌کند. محیط کدنویسی، توکن‌سازی، تولید متن گام‌به‌گام و بهینه‌سازی‌های عملی مانند کش کلید-مقدار و کامپایل کد مدل را پوشش می‌دهد.

فصل ۳ کتاب Build a Reasoning Model (From Scratch) ارزیابی را اضافه می‌کند. نشان می‌دهد که چگونه پاسخ‌های نهایی را به‌طور قابل‌اطمینان استخراج کنیم، صحت را در برابر پاسخ‌های مرجع تأیید کنیم، و یک خط‌لولهٔ ارزیابی برای وظایف استدلالی ریاضی‌محور بسازیم.

با این پایه‌ها، فصل‌های ۴ و ۵ کتاب Build a Reasoning Model (From Scratch) بر مقیاس‌سازی زمان استنتاج متمرکز می‌شوند، یعنی بهبود استدلال بدون تغییر وزن‌های مدل. فصل ۴ استدلال مبتنی بر پرامپت، رمزگشایی متنوع و خودسازگاری را پوشش می‌دهد. فصل ۵ این جهت را با خودبهبوددهی، راهبردهای سادهٔ امتیازدهی، تخمین اطمینان و بهبود تکراری پاسخ‌ها گسترش می‌دهد.

فصل‌های ۶ تا ۸ کتاب Build a Reasoning Model (From Scratch) روش‌های زمان آموزش را پیاده‌سازی می‌کنند. فصل ۶ یادگیری تقویتی برای مدل‌های استدلالی را معرفی می‌کند، با تمرکز بر یادگیری تقویتی با پاداش‌های قابل‌تأیید و بهینه‌سازی سیاست گروهی نسبی.

فصل ۷ بر روی آن پیاده‌سازی با پوشش نظارت عملی، حالت‌های رایج شکست در آموزش، هک پاداش و افزونه‌های مفید مانند منظم‌سازی KL و پاداش‌های فرمت پاسخ، بنا می‌شود. فصل ۸ متن اصلی را با تقطیر به پایان می‌رساند و نشان می‌دهد که چگونه مجموعه‌های دادهٔ استدلالی تولیدشده توسط معلم بسازیم، یک مدل دانش‌آموز کوچک‌تر آموزش دهیم، و نتیجهٔ تقطیرشده را ارزیابی کنیم.

پیوست‌ها مکمل فصل‌های اصلی کتاب Build a Reasoning Model (From Scratch) هستند. پیوست A مراجع و مطالعهٔ بیشتر را ارائه می‌دهد، پیوست B خلاصهٔ پاسخ‌های تمرین‌ها را ارائه می‌کند، پیوست C کد منبع Qwen3 که در سراسر کتاب استفاده شده را ارائه می‌دهد، پیوست D انواع بزرگ‌تر مدل‌های زبانی بزرگ را بحث می‌کند، پیوست E پردازش دسته‌ای و اجرای توان عملیاتی-محور را پوشش می‌دهد، پیوست F رویکردهای ارزیابی تکمیلی مدل‌های زبانی بزرگ را مرور می‌کند، و پیوست G نشان می‌دهد که چگونه یک رابط گفت‌وگو در اطراف مدل بسازیم.

سرفصل‌های کتاب Build a Reasoning Model (From Scratch):

• Build a Reasoning Model (From Scratch)
• brief contents
• contents
• preface
• acknowledgments
• about this book
• about the author
• about the cover illustration
• Chapter 1 Understanding reasoning models
• Chapter 2 Generating text with a pretrained LLM
• Chapter 3 Evaluating
• Chapter 4 Improving reasoning with inference-time scaling
• Chapter 5 Inference-time scaling via self-refinement
• Chapter 6 Training reasoning models with reinforcement learning
• Chapter 7 Improving GRPO for reinforcement learning
• Chapter 8 Distilling reasoning models for efficient reasoning
• Appendix A References and
• Appendix B Exercise solutions
• Appendix C Qwen3 LLM source code
• Appendix D Using larger LLMs
• Appendix E Batching and throughput-oriented execution
• Appendix F Common approaches to model evaluation
• Appendix G Building a chat interface
• index

جهت دانلود کتاب Build a Reasoning Model (From Scratch) می‌توانید پس از پرداخت، دریافت کنید.