کتاب Large Language Models Projects

در پایان سال 2022، حوزه هوش مصنوعی توجه قابل توجهی را از بسیاری از افراد جلب کرد. ابزاری پدیدار شد که از طریق یک مدل بزرگ زبان، قادر به پاسخگویی به طیف گسترده‌ای از سوالات و حفظ گفتگوهایی بود که به نظر می‌رسید توسط یک انسان انجام شده است.

ممکن است حتی افراد در OpenAI کاملاً از تأثیری که ChatGPT خواهد داشت آگاه نبودند. اگرچه منشأ مدل‌های بزرگ زبان را می‌توان با انتشار مقاله مشهور گوگل “توجه همه چیزی است که شما نیاز دارید” در سال 2017 ردیابی کرد، اما آنها هرگز پیش از این شهرت و توجهی را که پس از معرفی ChatGPT دریافت کرده‌اند، نداشته‌اند.

تمرکز جامعه توسعه‌دهندگان و متخصصان هوش مصنوعی بر این مدل‌ها آنقدر زیاد بوده است که مجموعه‌ای کاملی از راه‌حل‌ها، ابزارها و موارد استفاده ایجاد شده است که قبلاً وجود نداشت. در میان این ابزارهای جدید، پایگاه‌های داده برداری، ابزارهای ردیابی و بسیاری از مدل‌ها در همه اندازه‌ها را می‌یابیم.

اینها برای ایجاد کد ژنراتورها، چت‌بات‌های مشتری، ابزارهای پیش‌بینی، ابزارهای تحلیل متن و موارد دیگر استفاده می‌شوند. این فقط شروع است. تعداد راه‌حل‌های در حال توسعه فعلی و میزان سرمایه‌گذاری در این حوزه جدید هوش مصنوعی از اندازه‌ای که بتوان آن را اندازه‌گیری کرد، دشوار است.

در کتاب Large Language Models Projects، من سعی کرده‌ام توضیحی ارائه کنم که خواننده را از صرفاً استفاده از مدل‌های بزرگ زبان از طریق API تا تعریف راه‌حل‌های بزرگ که این مدل‌ها نقش مهمی در آن دارند، راهنمایی کند.

برای رسیدن به این هدف، تکنیک‌های مختلفی از جمله مهندسی سریع، آموزش و ارزیابی مدل و استفاده از ابزارهایی مانند پایگاه‌های داده برداری توضیح داده شده است. اهمیت این مدل‌های بزرگ زبان نه تنها مورد بحث قرار می‌گیرد، بلکه تأکید زیادی نیز بر رسیدگی به تعبیه‌ها، که در اصل زبانی است که توسط مدل‌های بزرگ زبان درک می‌شود، می‌شود.

کتاب Large Language Models Projects با بیش از 20 دفترچه همراه است که در آن از مدل‌های مختلف استفاده می‌کنیم. من از شما می‌خواهم که بیشتر بر تکنیک‌های استفاده شده و هدف آنها تمرکز کنید تا مدل‌های خاص به کار رفته.

هر هفته مدل‌های جدید ظاهر می‌شوند، اما آنچه واقعاً مهم است درک این است که چگونه می‌توان از آنها استفاده و دستکاری کرد تا با مورد استفاده خاصی که در ذهن دارید سازگار شوند. من می‌گویم که دو فصل آخر کتاب Large Language Models Projects از اهمیت خاصی برخوردار است.

اگرچه کمترین محتوای فنی را دارند، اما ساختار دو پروژه را ارائه می‌دهند که از مدل‌های مختلف زبان برای همکاری و حل یک مشکل استفاده می‌کنند. اگر فصل‌های قبلی کتاب Large Language Models Projects را مطالعه کرده‌اید، مطمئن هستم که ساختار پروژه و مهم‌تر از آن، قادر خواهید بود راه‌حل مشابهی را به تنهایی ایجاد کنید.

در طول این سفر، پروژه‌های مختلفی را ایجاد خواهید کرد که به شما امکان می‌دهد دانش را به تدریج، گام به گام کسب کنید:

• ایجاد چت‌بات: ساخت یک چت‌بات با استفاده از API OpenAI.
• سیستم اولیه NL2SQL: ایجاد یک سیستم ساده زبان طبیعی به SQL (NL2SQL) با OpenAI.
• سیستم RAG با LangChain: ساخت یک سیستم تولید تقویت شده بازیابی (RAG) با استفاده از LangChain، یک پایگاه داده برداری (ChromaDB) و یک LLM Hugging Face (TinyLlama).
• سیستم تعدیل با LangChain: توسعه یک سیستم پاسخ خودتنظیم شده با استفاده از دو مدل OpenAI یا یک مدل Llama 2 از Hugging Face.
• عامل دستیار تحلیلگر داده: ایجاد یک عامل LLM قادر به تجزیه و تحلیل داده‌ها از صفحات گسترده اکسل.
• سیستم RAG دستیار پزشکی: ساخت یک سیستم RAG دستیار پزشکی با استفاده از LangChain و یک پایگاه داده برداری.
• ژنراتور سریع با LoRA، QLoRA و تنظیم سریع: تنظیم دقیق یک LLM با استفاده از تکنیک‌های LoRA، QLoRA و تنظیم سریع برای توانمند کردن آن در تولید سریع برای مدل‌های دیگر.
• تشخیص گفتار نفرت: استفاده از تنظیم سریع، کارآمدترین تکنیک تنظیم دقیق، برای تطبیق رفتار یک LLM.
• راه‌حل NL2SQL در Azure و AWS: ایجاد یک راه‌حل NL2SQL با استفاده از پلتفرم‌های ابری مانند Azure OpenAI Studio و AWS Bedrock.
• پروژه NL2SQL با Ollama: راه‌اندازی یک سرور محلی با استفاده از Ollama برای اجرای یک مدل NL2SQL.
• انتشار یک LLM در Hugging Face: ایجاد و انتشار یک LLM سفارشی در Hugging Face.
• طراحی یک پروژه NL2SQL برای پایگاه‌های داده سازمانی: طراحی یک راه‌حل NL2SQL برای پایگاه‌های داده پیچیده، با ادغام تکنیک‌هایی مانند کاهش اندازه سریع، ذخیره‌سازی معنایی و استفاده از چندین مدل.
• تحول بانک‌ها با تعبیه‌های مشتری: یک پروژه مفهومی برای بررسی استفاده از تعبیه‌های مشتری برای بهبود ارزیابی ریسک و تصمیم‌گیری در بخش بانکی.

همانطور که می‌بینید، این لیست گسترده از پروژه‌ها نگاهی به بخش خوبی از این جهان جدید تکنیک‌ها و ابزارهایی که در اطراف مدل‌های بزرگ زبان پدید آمده‌اند، ارائه می‌دهد.

در پایان کتاب Large Language Models Projects، شما بخشی از گروه کوچکی از افرادی خواهید بود که قادر به ایجاد مدل‌های جدیدی هستند که نیازهای خاص خود را برآورده می‌کنند. نه تنها این، بلکه شما قادر خواهید بود راه‌حل‌هایی را برای مشکلات جدید از طریق استفاده از این مدل‌ها پیدا کنید. امیدوارم از این سفر لذت ببرید.