کتاب Domain-Specific Small Language Models

کتاب Domain-Specific Small Language Models: Efficient AI for local deployment (مدل‌های زبانی کوچک تخصصی حوزه: هوش مصنوعی کارآمد برای استقرار محلی) به بررسی مزایای استفاده از مدل‌های زبانی کوچک اما تخصصی (به جای مدل‌های بزرگ همه‌منظوره) برای کاربردهایی می‌پردازد که نیاز به استقرار هوش مصنوعی به‌صورت محلی (روی دستگاه‌هایی مثل لپ‌تاپ، سرورهای سازمانی یا سیستم‌های نهفته) دارند.

در ادامه مقدمه‌ای از کتاب Domain-Specific Small Language Models را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب Domain-Specific Small Language Models:

در اوایل سال ۲۰۲۲، زمانی که بالاخره فرصت کردم مقاله «Attention is all you need» را کامل بخوانم، درباره معماری ترنسفورمر و کاربردهای بالقوه عالی آن در صنایع مختلف (و به‌ویژه در علوم زیستی، چون حوزه کاری من است) کنجکاو شدم. نگرانی من در آن زمان این بود که چنین فناوری به‌سرعت به انحصار سازمان‌های بزرگ فناوری درآید که توان تأمین منابع محاسباتی عظیم برای آموزش و اجرای این مدل‌ها را دارند.

سپس، با الهام از چالش «اجرای Doom روی هر دستگاهی» (ترندی محبوب در میان مهندسان نرم‌افزار برای بهینه‌سازی کد منبع این بازی ویدیویی سال ۱۹۹۳ تا روی هر دستگاهی اجرا شود)، شروع به فکر کردن درباره روش‌های بهینه‌سازی مدل‌های کوچک ترنسفورمر کردم؛ مدل‌هایی که روی وظایف و داده‌های تخصصی حوزه خاص آموزش دیده‌اند تا بتوانند در محیط‌های با محدودیت سخت‌افزاری مستقر و اجرا شوند. در ژوئن همان سال، یک کارگاه عملی حضوری درباره این موضوع در کنفرانس ODSC Europe در لندن برگزار کردم که با استقبال زیادی از سوی مهندسان یادگیری ماشین حاضر در رویداد مواجه شد.

چند ماه بعد، انتشارات منینگ با من تماس گرفت و از من خواست کتابی در این زمینه بنویسم، بدون تردید پذیرفتم. چند هفته پس از شروع نوشتن کتاب، شرکت OpenAI سرویس چت‌جی‌پی‌تی را به صورت عمومی عرضه کرد که در آن زمان از مدل جی‌پی‌تی-۳.۵ استفاده می‌کرد. دیگر سازمان‌های بزرگ فناوری مانند گوگل، آنتروپیک و ایکس.آی نیز به زودی به این مسابقه پیوستند تا مدل‌های بزرگ‌تر، منبع‌بسته و همه‌منظوره‌ای بسازند که بتوانند بازار مصرفی هوش مصنوعی مولد را تصاحب کنند.

اما جامعه منبع‌باز فقط نظاره‌گر نبود: ابتکارات زیادی شامل معماری‌ها و وزن‌های باز، و تکنیک‌هایی برای بهینه‌سازی آموزش و اجرای مدل‌های زبانی مطرح شد. زمان مناسبی بود برای نوشتن کتابی درباره این موضوع و ارائه یک منبع متمرکز از قابلیت‌های موجود فراتر از راهکارهای تجاری، برای وظایف خاص و در صنایع به‌شدت تنظیم‌شده.

درباره کتاب Domain-Specific Small Language Models

تمرکز این کتاب بر درک تکنیک‌های بهبود عملکرد و هزینه استنتاج در مدل‌های زبانی کوچک (SLM) از پیش آموزش‌دیده و سفارشی‌شده، از طریق بهینه‌سازی و کمّی‌سازی (quantization)، ارائه آن‌ها از طریق اکوسیستم‌های متنوع API، استقرار روی سخت‌افزارهای گوناگون (از جمله لپ‌تاپ خودتان)، و ادغام آن‌ها با پارادایم‌هایی مانند RAG و عامل‌محور (Agentic AI) است. همه این مفاهیم به‌طور عمیق توضیح داده شده‌اند و همراه با مثال‌های کامل کد منبع هستند. یاد می‌گیرید که توان محاسباتی مورد نیاز مدل‌هایتان را به حداقل برسانید و در عین حال زمان و کیفیت خروجی بالایی حفظ کنید.

اگرچه چند مثال در این کتاب چگونگی پیش‌پردازش داده‌ها برای آموزش/آزمون را شرح می‌دهند، و تکنیک‌های تنظیم دقیق کارآمد از نظر پارامتر (PEFT) نیز معرفی می‌شوند، اما این کتاب بر تکنیک‌های آموزش و آماده‌سازی داده تمرکز ندارد.

مخاطب کتاب Domain-Specific Small Language Models

این کتاب در درجه اول برای مهندسان یادگیری ماشین و دانشمندان داده است که علاقه‌مندند یاد بگیرند چگونه مدل‌های زبانی بزرگ را در محیط‌های معمولی با محدودیت سخت‌افزاری که بودجه شرکتشان اجازه می‌دهد مدیریت کنند. اما همچنین برای رهبران فنی است که می‌خواهند بفهمند چگونه به کارگیری مدل‌های زبانی سفارشی روی داده‌های سازمانی می‌تواند ارزش تجاری بیشتری ایجاد کند.

خواننده با حداقل صلاحیت باید مهارت‌ها و دانش زیر را داشته باشد:

• درک کلی از مفاهیم یادگیری عمیق
• آشنایی با معماری و اجزای داخلی مدل ترنسفورمر و مبانی فرآیند آموزش آن
• مهارت متوسط در زبان پایتون
• تجربه عملی با یک فریمورک یادگیری عمیق (ترجیحاً PyTorch)
• آشنایی با محیط Google Colab
• تجربه متوسط در مهندسی نرم‌افزار
• سه یا چهار سال سابقه کار به عنوان مهندس یادگیری ماشین یا دانشمند داده

ساختار کتاب: نقشه راه

کتاب Domain-Specific Small Language Models دارای ۴ بخش و ۱۵ فصل است.

• بخش ۱ خوانندگان را با مدل‌های زبانی کوچک (SLM) آشنا می‌کند:
• فصل ۱ موارد استفاده برای SLMهای تخصصی و مزایا و معایب آن‌ها در مقایسه با مدل‌های زبانی بزرگ همه‌منظوره را توضیح می‌دهد.

بخش ۲ مباحث اصلی SLMهای حوزه‌تخصصی را پوشش می‌دهد:

• فصل ۲ چند مثال از آماده‌سازی داده برای تنظیم دقیق معماری‌های ترنسفورمر و برای RAG نشان می‌دهد، و مفهوم تنظیم دقیق کارآمد از نظر پارامتر (PEFT) را معرفی می‌کند.
• فصل ۳ یک مثال کامل از تنظیم یک SLM روی یک وظیفه خاص (تولید کد پایتون برای رندر/انیمیت فرمول‌های ریاضی، از روی زبان طبیعی) ارائه می‌کند. همچنین به برخی راهبردهای اعتبارسنجی خروجی مدل می‌پردازد.
• فصل ۴ انواع مختلف تولید محتوا با SLMها را نشان می‌دهد، نحوه شناسایی نقاط بهبود در زمان استنتاج (از نظر صرفه‌جویی در هزینه و عملکرد) را آموزش می‌دهد، و تکنیک‌هایی برای بهینه‌سازی مصرف توان محاسباتی پیشنهاد می‌کند.
• فصل‌های ۵ و ۶ درباره قالب ONNX و ONNX Runtime، کمّی‌سازی SLM روی CPU یا GPU، و راهبردهای کمّی‌سازی با استفاده از استاندارد ONNX و روش‌های جایگزین هستند.

بخش ۳ کتاب Domain-Specific Small Language Models بر مثال‌های واقعی از مفاهیم معرفی‌شده در بخش‌های ۱ و ۲ تمرکز دارد:

• فصل ۷ چند مورد استفاده از تولید کد پایتون با SLMها و بهینه‌سازی SLMها برای اجرا روی سخت‌افزار محدود را ارائه می‌کند.
• فصل ۸ چند SLM از پیش آموزش‌دیده برای انجام وظایف در شیمی، کشف دارو و علم مواد را ارائه می‌کند.

بخش ۴ کتاب Domain-Specific Small Language Models مباحث پیشرفته‌تر SLM را بحث می‌کند:

• فصل ۹ تکنیک‌های پیشرفته کمّی‌سازی را شرح می‌دهد.
• فصل ۱۰ کتاب Domain-Specific Small Language Models توضیح می‌دهد چگونه داده‌های پروفایلینگ خام ONNX را به بینش‌هایی برای بهبود بهینه‌سازی مدل تبدیل کنید.
• فصل ۱۱ به بررسی عمیق گزینه‌های استقرار و ارائه SLMها در محیط‌های مختلف، از جمله دستگاه‌های اندرویدی، می‌پردازد.
• فصل ۱۲ کتاب Domain-Specific Small Language Models گزینه‌های متعدد برای ارائه و اجرای محلی SLMها روی لپ‌تاپ و با استفاده از رابط گرافیکی را آموزش می‌دهد.
• فصل ۱۳ درباره استفاده از SLMها به عنوان بخشی از سیستم‌های پیچیده‌تر، مانند RAG یا هوش مصنوعی عامل‌محور است.
• فصل ۱۴ کتاب Domain-Specific Small Language Models مفاهیم بحث‌شده در فصل ۱۳ را بسط می‌دهد و GraphRAG و RAG عامل‌محور را معرفی می‌کند.
• فصل ۱۵ درباره محاسبات زمان آزمون (test-time compute) برای SLMها است، و کتاب را با یک مثال کامل از تبدیل یک SLM به یک مدل استدلالی با استفاده از GRPO به پایان می‌رساند.

سرفصل‌های کتاب Domain-Specific Small Language Models:

• Domain-Specific Small Language Models
• brief contents
• contents
• foreword
• preface
• acknowledgments
• about this book
• about the author
• about the cover illustration
• Part 1 First Steps
  • 1 Small language models
• Part 2 Core domain-specific LLMs
  • 2 Tuning for a specific domain
  • 3 End-to-end transformer fine-tuning
  • 4 Running inference
  • 5 Exploring ONNX
  • 6 Quantizing for your production environment
• Part 3 Real-world use cases
  • 7 Generating Python code
  • 8 Generating protein structures
• Part 4 Advanced concepts
  • 9 Advanced quantization techniques
  • 10 Profiling insights
  • 11 Deployment and serving
  • 12 Running on your laptop
  • 13 Creating end-to-end LLM applications
  • 14 Advanced components for LLM applications
  • 15 Test-time compute and small language models
• index

جهت دانلود کتاب Domain-Specific Small Language Models می‌توانید پس از پرداخت، دریافت کنید.