کتاب Large Language Models: The Hard Parts: Open Source AI Solutions for Common Pitfalls 1st Edition (مدلهای زبانی بزرگ: بخشهای دشوار — راهکارهای متنباز هوش مصنوعی برای خطاها و مشکلات رایج (ویرایش اول)) به چالشهای واقعی و اغلب نادیدهگرفتهشده در ساخت و بهکارگیری برنامههای مبتنی بر مدلهای زبانی بزرگ (LLM) میپردازد.
کتاب Large Language Models: The Hard Parts به جای تمرکز بر هیجان و تبلیغات پیرامون هوش مصنوعی، محدودیتها و مشکلات عملی LLMها مانند توهمسازی (hallucination)، دشواری ارزیابی خروجیها، مسائل ایمنی، همترازی مدل با اهداف انسانی، و تولید خروجیهای ساختاریافته قابل اعتماد را بررسی میکند.
در ادامه مقدمهای از کتاب Large Language Models: The Hard Parts را از زبان نویسنده شرح خواهیم داد.
مقدمهای بر کتاب Large Language Models: The Hard Parts:
یک عنوان جایگزین برای این کتاب میتوانست «مدلهای زبانی بزرگ که بد رفتار میکنند» باشد. اگر پیشینهای در مدلسازی مالی داشته باشید، شاید شباهت آن را با اثر مهم امانوئل درمن با عنوان Models. Behaving. Badly. متوجه شده باشید. همانطور که درمن هشدار میداد که نباید مدلهای مالی را بازنمایی کامل و بینقصی از واقعیت دانست، این کتاب نیز قصد دارد محدودیتها و دامهای مدلهای زبانی بزرگ (LLMها) را در کاربردهای عملی نشان دهد.
درست مانند مدلهای مالی که نتوانستند پیچیدگی رفتار انسانی و پویاییهای بازار را بهخوبی ثبت کنند، LLMها نیز محدودیتهای ذاتی دارند. آنها ممکن است واقعیتها را «هالوسینه» کنند (اطلاعات ساختگی تولید کنند)، در استدلال منطقی دچار مشکل شوند، و در خروجیهای طولانی نتوانند سازگاری خود را حفظ کنند. پاسخهای آنها هرچند اغلب قانعکننده به نظر میرسند، در واقع تقریبهای احتمالی مبتنی بر دادههای آموزشی هستند، نه حاصل درک واقعی—با این حال انسانها اصرار دارند با آنها مانند «ماشینهایی که میتوانند استدلال کنند» رفتار کنند.
در سالهای اخیر، LLMها به نیرویی دگرگونکننده در فناوری تبدیل شدهاند. از ChatGPT و Gemini گرفته تا Claude و Mistral، این سیستمها توجه عموم را جلب کرده و موجی از برنامههای مبتنی بر هوش مصنوعی به راه انداختهاند. با این حال، در پس این انقلاب فناورانه، چشماندازی پیچیده از چالشها قرار دارد که توسعهدهندگان، دانشمندان داده و رهبران فنی باید با آنها روبهرو شوند.
ما کتاب Large Language Models: The Hard Parts را نوشتیم چون نسبت به قدرت و امکانات LLMها خوشبین هستیم، اما در عین حال واقعبینانه میدانیم که استقرار موفق، گسترده و قابلاعتماد آنها چقدر دشوار است. تمرکز این کتاب بر آگاهسازی نسبت به چالشهای کلیدی LLMها و بهرهگیری از راهحلهای متنباز برای غلبه بر آنهاست. این کتاب دیدگاهی انتقادی نسبت به پیادهسازی ارائه میدهد و آن را با مثالهای عملی و قابل بازتولید در پایتون پشتیبانی میکند.
در پایان کتاب Large Language Models: The Hard Parts، خوانندگان به ابزارهای متنبازی مجهز خواهند شد که آنها را از صرفاً «کاربر LLM بودن» فراتر میبرد و در موقعیتی قرار میدهد که در دنیایی که بهسرعت در حال تغییر است و فرصت ساخت و حرکت سریع را فراهم میکند، موفق شوند.
مهارتهایی که در کتاب Large Language Models: The Hard Parts میآموزید—ارزیابی، ایمنی، زمینه (context)، همترازی (alignment)، خروجیهای ساختاریافته، تولید تقویتشده با بازیابی (RAG)، و فاینتیونینگ—چیزی است که تفاوت میان «من با LLMها کمی کار کردم» و «من یک برنامه قابلاعتماد مبتنی بر LLM ساختم که سازمانم به آن وابسته است» را رقم میزند.
چه کسانی باید کتاب Large Language Models: The Hard Parts را بخوانند
ما این کتاب را برای دانشمندان داده، مهندسان نرمافزار و متخصصان در حوزههای مختلف نوشتهایم. در اینجا برخی از افرادی را که بیشترین سود را میبرند فهرست کردهایم، اما در واقع معتقدیم هر کسی که میخواهد با LLMها کار کند باید این کتاب را بخواند. به طور مشخص:
- دانشمندان داده و مهندسان یادگیری ماشین که با ML سنتی کار کردهاند اما اکنون باید LLMها را در سیستمهای عملیاتی ادغام کنند.
- مدیران محصول و رهبران فنی که باید درباره اینکه آیا، چه زمانی و چگونه از LLMها استفاده شود تصمیمهای آگاهانه بگیرند؛ شما مسئول نتایج هستید.
- پژوهشگران و متخصصان حوزهای در زمینههایی مانند مالی، سلامت، حقوق یا آموزش—کسانی که پتانسیل LLMها را در حوزه خود میبینند اما باید بدانند چگونه خروجیهای آنها را اعتبارسنجی کنند. شما حوزه خود را کاملاً میشناسید، اما ممکن است نسبت به هیاهوی هوش مصنوعی بدبین باشید. کتاب Large Language Models: The Hard Parts نشان میدهد چگونه بهطور دقیق بررسی کنید که آیا یک LLM با تخصص شما همراستا است یا نه.
- متخصصان تحلیل داده و هوش تجاری که در حال بررسی این هستند که LLMها چگونه میتوانند تحلیل داده، تولید گزارش یا کشف بینش را تقویت کنند. شما با داده راحت هستید، اما LLMها یک پارادایم جدید هستند.
- هر کسی که مأمور شده «بفهمد چطور از هوش مصنوعی استفاده کنیم»—گروهی که روزبهروز بزرگتر میشود. چه در عملیات، منابع انسانی، بازاریابی، حقوقی یا حوزههای دیگر باشید، سازمانها از افرادی که پیشزمینه ML ندارند میخواهند کاربردهای LLM را بررسی کنند. این کتاب شما را به متخصص ساخت LLM تبدیل نمیکند، اما آنقدر سواد LLM به شما میدهد که بتوانید فروشندگان را ارزیابی کنید، ریسکها را بسنجید، تفاوت میان امکان واقعی و اغراق را تشخیص دهید، و با تیمهای فنی درباره پیادهسازی گفتگوهای آگاهانه داشته باشید.
راهنمای فصلهای کتاب Large Language Models: The Hard Parts
سختترین بخش در نوشتن این کتاب تصمیمگیری درباره چیزهایی بود که در دنیایی دائماً در حال گسترش نباید پوشش داده شوند. در نهایت این ساختار را انتخاب کردیم:
فصل ۱: «اصول اولیه: پیش از شروع ساخت با LLMها چه چیزهایی را باید در نظر بگیریم»
با بررسی پرسشهایی درباره ارزش، داده، ذینفعان و استراتژی آغاز میکنیم—عواملی که تعیین میکنند یک برنامه مبتنی بر LLM موفق میشود یا شکست میخورد. این فصل نشان میدهد که بدون وضوح استراتژیک درباره اینکه چه میسازیم و چرا، حتی برتری فنی هم کافی نیست.
فصل ۲: «شکاف ارزیابی (Evals Gap)»
در این فصل از کتاب Large Language Models: The Hard Parts به چالش اندازهگیری کیفیت در سیستمهای غیرقطعی میپردازیم. ابتدا با معیارهای سنتی مانند BLEU و ROUGE که شباهت متنی را اندازهگیری میکنند آشنا میشویم و هم مزایا و هم محدودیتهای آنها را بررسی میکنیم. سپس مفهوم «LLM بهعنوان داور» را بررسی میکنیم، یعنی استفاده از یک LLM برای ارزیابی خروجی LLM دیگر.
فصل ۳: «ابزارهای ارزیابی برای برنامههای مبتنی بر LLM»
از مفاهیم ارزیابی به ابزارهای عملی میرویم و سه ابزار را بررسی میکنیم که به ما کمک میکنند برنامههای مبتنی بر LLM (LLMBA) را بهصورت سیستماتیک آزمایش و بهبود دهیم:
LangSmith برای ارزیابی سرتاسری و ردیابی آزمایشها،
Promptfoo برای مقایسه سریع پرامپتها و تستهای خصمانه،
LightEval برای ارزیابی سبک و اقتصادسنجی.
فصل ۴: «از داده تا زمینه (Context)»
در این فصل از کتاب Large Language Models: The Hard Parts بررسی میکنیم وقتی دادههای بدون ساختار به زمینه برای LLMها تبدیل میشوند چه اتفاقی میافتد—یا به عبارتی چگونه به LLMها دسترسی به اطلاعات فراتر از دادههای آموزشیشان بدهیم. با راهبردهای chunking، embeddingهای برداری، RAG و مدلهای با پنجره زمینه طولانی آشنا میشویم. آیا RAG در آینده باقی میماند یا همهچیز به سمت مدلهای long-context میرود؟
فصل ۵: «خروجی داده ساختاریافته»
به چالش گرفتن خروجیهای ساختاریافته و قابلاعتماد از LLMها میپردازیم. از JSON mode constraint، اسکیمای Pydantic برای اعمال ساختار و اعتبارسنجی نوع داده، و پسپردازش logit برای تضمینهای ریاضی از طریق دستکاری احتمال توکنها استفاده میکنیم.
فصل ۶: «ملاحظات ایمنی LLM»
در این فصل (بدون کد) پایه مفهومی ایمنی LLM را پیش از پیادهسازی راهحلهای فنی ایجاد میکنیم. اصول کلی ایمنی هوش مصنوعی، آسیبپذیریهای خاص LLM مانند jailbreaking، و رویکردهای شرکتهایی مانند Anthropic، OpenAI و Google به ایمنی را بررسی میکنیم. همچنین میآموزیم red teaming در عمل چه معنایی دارد و چگونه Constitutional AI اصول ایمنی را بهصورت سیستماتیک در مدلها قرار میدهد.
فصل ۷: «ارزیابی ایمنی LLMها»
مفاهیم ایمنی را به کد تبدیل میکنیم. ابتدا بنچمارکهایی مانند SALAD-Bench، TruthfulQA و HarmBench را بررسی میکنیم که میزان ایمنی و صداقت مدلها را میسنجند. سپس محافظت در زمان اجرا را با guardrailهایی مانند Llama Guard و NeMo Guardrails پیادهسازی میکنیم که محتوای مضر را در لحظه فیلتر میکنند، و از APIهای moderation از OpenAI و Mistral برای طبقهبندی ایمنی استفاده میکنیم.
فصل ۸: «همترازی LLM: یک مطالعه موردی»
در این فصل از کتاب Large Language Models: The Hard Parts با یک مطالعه موردی یاد میگیریم چگونه رفتار مدل را از طریق همترازی مبتنی بر ترجیح بازشکلدهی کنیم. با مکانیزم Direct Preference Optimization (DPO) آشنا میشویم و با ابزارهایی مانند TRL مدل را مطابق یک سیاست مشخص فاینتیون میکنیم. سپس کار خود را با روش LLM-as-a-judge ارزیابی میکنیم.
فصل ۹: «جمعبندی: برنامههای LLM در عصر کاهش هزینهها»
در پایان کتاب Large Language Models: The Hard Parts، سقوط چشمگیر هزینههای استنتاج (inference) و پیامدهای آن را بررسی میکنیم. میبینیم این تغییر چه معنایی برای متخصصان داده دارد—جایی که تمرکز از بهینهسازی هزینه به بهینهسازی کیفیت منتقل میشود—و برای سازمانهایی که مزیت رقابتیشان نه صرفاً دسترسی به مدلها، بلکه ارزیابی دقیق و ایمنی قوی است.
سرفصلهای کتاب Large Language Models: The Hard Parts:
- Cover
- Copyright
- Table of Contents
- Foreword
- Preface
- Chapter 1. First Principles: What to Consider Before We Start Building with LLMs
- Chapter 2. The Evals Gap
- Chapter 3. Evaluation Tools for LLM-Based Applications
- Chapter 4. From Data to Context
- Chapter 5. Structured Data Output
- Chapter 6. LLM Safety Considerations
- Chapter 7. Evaluating LLMs for Safety
- Chapter 8. LLM Alignment: A Case Study
- Chapter 9. Epilogue: LLMBAs in the Era of Falling Costs
- Appendix. Tools for Local LLM Deployment
- Index
- About the Authors
- Colophon
جهت دانلود کتاب Large Language Models: The Hard Parts میتوانید پس از پرداخت، دریافت کنید.
دیدگاهها
هیچ دیدگاهی برای این محصول نوشته نشده است.