کتاب Mastering Transformers

مدل‌های زبانی مبتنی بر ترانسفورمرها به عنوان سنگ بنای اصلی در حوزه پردازش زبان طبیعی (NLP) ظهور کرده‌اند و نشان دهنده یک تغییر پارادایم هستند. توانایی‌های فوق‌العاده آن‌ها در تنظیم دقیق و کار بدون نیاز به آموزش مجدد (zero-shot) ثابت کرده است که سریع‌تر و دقیق‌تر از روش‌های سنتی یادگیری ماشین در وظایف مختلف و پیچیده زبان طبیعی عمل می‌کنند. این راهنمای عملی NLP یک منبع ارزشمند برای توسعه‌دهندگان است و آن‌ها را با معماری ترانسفورمرها آشنا می‌کند.

کتاب Mastering Transformers توضیحات واضح و گام‌به‌گام مفاهیم حیاتی را همراه با مثال‌های عملی ارائه می‌دهد. ما با مروری آسان‌فهم بر تحول در NLP شروع می‌کنیم. این شامل درک اولیه مفاهیم و فناوری‌های مرتبط با یادگیری عمیق و همچنین راهنمایی جامع در مدیریت وظایف مختلف NLP است.

کتاب Mastering Transformers همچنین برای توسعه‌دهندگانی که به دنبال گسترش درک خود از مدل‌های چندوجهی و هوش مصنوعی مولد هستند، بسیار مفید است. ترانسفورمرها نه تنها برای وظایف NLP استفاده می‌شوند، بلکه به طور فزاینده‌ای در وظایف بینایی کامپیوتر، پردازش سیگنال و بسیاری از حوزه‌های دیگر نیز به کار گرفته می‌شوند.

علاوه بر NLP، حوزه رو به رشدی از یادگیری چندوجهی و هوش مصنوعی مولد وجود دارد که پیشرفت‌های هیجان‌انگیزی را نشان می‌دهد. در اینجا در مورد مواردی مانند GPT-4، Gemini، Claude، DALL-E و مدل‌های مبتنی بر Stable Diffusion صحبت می‌کنیم. اگر شما یک توسعه‌دهنده هستید، ارزش آن را دارد که این فناوری‌ها را زیر نظر داشته باشید تا ببینید چگونه می‌توانید بهترین استفاده را از آن‌ها برای نیازهای خاص خود ببرید.

کتاب Mastering Transformers برای چه کسانی مناسب است

این کتاب برای پژوهشگران هوش مصنوعی مولد و یادگیری عمیق؛ متخصصان عملی؛ و معلمان، مربیان و دانشجویان یادگیری ماشین/NLP که تسلط خوبی بر موضوعات برنامه‌نویسی و دانش در زمینه‌های یادگیری ماشین، یادگیری چندوجهی و هوش مصنوعی دارند و می‌خواهند برنامه‌های کاربردی را در حوزه پیشرفته NLP توسعه دهند، مناسب است.

شما باید حداقل پایتون یا زبان برنامه‌نویسی دیگری را بدانید، با ادبیات یادگیری ماشین آشنا باشید و درک اساسی از علوم کامپیوتر داشته باشید، زیرا این کتاب جنبه‌های عملی NLP و هوش مصنوعی مولد را پوشش می‌دهد.

موضوعات پوشش داده شده در کتاب Mastering Transformers

فصل 1، از Bag-of-Words تا ترانسفورمرها، معرفی ملایم و آسان‌فهمی از ترانسفورمرها را ارائه می‌دهد. علاوه بر این، روش‌های قدیمی‌تر، از جمله مدل‌های یادگیری عمیق و غیر عمیق، مانند CNN، RNN و LSTM برای متن، را با ترانسفورمرها مقایسه می‌کند.

فصل 2، مقدمه عملی بر موضوع، اولین آزمایش عملی را برای تنظیم محیط شما فراهم می‌کند. در این فصل، شما در مورد تمام جنبه‌های ترانسفورمرها در سطح مقدماتی یاد خواهید گرفت. نصب کتابخانه‌های tensorflow، pytorch، conda، transformers و sentenceTransformers توضیح داده خواهد شد. بخش دیگری از این فصل به نصب نسخه‌های GPU کتابخانه‌های مرتبط اختصاص خواهد یافت. ما برخی از مثال‌های کد عملی را برای شروع یادگیری از طریق مثال‌ها برای شما ارائه خواهیم داد. شما اولین برنامه hello-world خود را با ترانسفورمرها با بارگذاری مدل‌های زبانی از پیش آموزش‌دیده ارائه شده توسط جامعه خواهید نوشت.

فصل 3، مدل‌های زبانی خودرمزگذاری، نحوه استفاده از قسمت رمزگذار ترانسفورمر را پوشش می‌دهد. شما در مورد معماری مدل BERT و نحوه آموزش/آزمایش مدل‌های زبانی خودرمزگذاری مانند BERT و ALBERT خواهید آموخت. شما تفاوت بین مدل‌ها و توابع هدف معماری‌ها را درک خواهید کرد. همچنین یاد خواهید گرفت که چگونه مدل‌ها را با جامعه به اشتراک بگذارید و همچنین چگونه مدل‌های از پیش آموزش‌دیده دیگری که توسط جامعه به اشتراک گذاشته شده‌اند را تنظیم دقیق کنید.

فصل 4، از مدل‌های مولد تا مدل‌های زبانی بزرگ، یک راه حل مولد با ترانسفورمرهای فقط رمزگشا و مدل‌های رمزگذار-رمزگشا را پوشش می‌دهد. در این فصل، جزئیات مدل‌های زبانی مولد (GLM) و مدل‌های زبانی بزرگ (LLM) را مشاهده خواهید کرد. شما یاد خواهید گرفت که چگونه هر مدل زبانی را، مانند Generated Pre-trained Transformer 2 (GPT-2)، بر روی متن خود از پیش آموزش دهید و از آن در وظایف مختلف، مانند تولید زبان طبیعی (NLG) استفاده کنید.

شما اصول اولیه یک مدل ترانسفورمر انتقال متن به متن (T5) را درک خواهید کرد، نحوه انجام یک آزمایش یادگیری چندوظیفه‌ای عملی با T5 و نحوه آموزش یک مدل T5 چندزبانه (mT5) بر روی داده‌های ترجمه ماشینی (MT) خود را خواهید آموخت. پس از اتمام این فصل، شما درک خواهید کرد که GLMها و موارد استفاده مختلف آن‌ها در برنامه‌های کاربردی text2text، مانند خلاصه‌سازی، پارافریز، یادگیری چندوظیفه‌ای، یادگیری بدون نیاز به آموزش مجدد (zero-shot) و MT چیست.

فصل 5، تنظیم دقیق مدل زبانی برای طبقه‌بندی متن، به شما آموزش می‌دهد که چگونه یک مدل از پیش آموزش‌دیده را برای طبقه‌بندی متن بارگیری کنید و یک مدل پایه را برای هر کار طبقه‌بندی متن پایین‌دستی، مانند تحلیل احساسات، تنظیم دقیق کنید. شما با مجموعه داده‌های شناخته شده مانند GLUE و همچنین مجموعه داده‌های خود کار خواهید کرد. شما همچنین از کلاس Trainer کتابخانه transformers استفاده خواهید کرد که بسیاری از پیچیدگی‌های فرآیندهای آموزش و تنظیم دقیق را مدیریت می‌کند.

فصل 6، تنظیم دقیق مدل‌های زبانی برای طبقه‌بندی توکن، نحوه حل وظایف طبقه‌بندی مبتنی بر توکن مانند تشخیص موجودیت نام‌دار، وظایف قسمت‌های گفتار و پیش‌بینی دامنه را با تنظیم دقیق مدل‌های ترانسفورمر پوشش می‌دهد.

طبقه‌بندی توکن، یکی از موضوعات چالش برانگیز در NLP، با تنظیم دقیق (یا ایجاد از ابتدا) با استفاده از کلاس Trainer کتابخانه پایتون transformers پیاده‌سازی خواهد شد. NER، POS و QA را می‌توان به عنوان مشکلات طبقه‌بندی توکن در نظر گرفت. مجموعه داده‌های GLUE و ارائه شده توسط جامعه برای نمونه‌سازی سریع استفاده می‌شوند. ما از مدل‌ها و مجموعه داده‌های مشترک برای تنظیم دقیق مدل‌ها برای مشکلات طبقه‌بندی توکن استفاده خواهیم کرد. همچنین در مورد نحوه ارزیابی معیار طبقه‌بندی توکن نیز بحث خواهیم کرد.

فصل 7، نمایش متن، به بررسی نحوه نمایش متن با یک معماری مبتنی بر ترانسفورمر برای طیف وسیعی از وظایف NLP خواهد پرداخت. نمایش متن یکی دیگر از وظایف پیش پا افتاده در NLP مدرن است. نمایش جملات با استفاده از مدل‌های مختلف مانند رمزگذار جمله جهانی و siamese BERT (sentence BERT) با کتابخانه‌های اضافی مانند sentenceTransformers در اینجا توضیح داده خواهد شد.

مجموعه داده‌هایی مانند MNLI و XNLI شرح داده خواهد شد، همچنین ارزیابی مدل‌های نمایش جمله با STSBenchmark مورد بررسی قرار خواهد گرفت. یادگیری با نمونه‌های کم/بدون نیاز به آموزش مجدد با استفاده از نمایش جمله کارآمد نیز پوشش داده خواهد شد. وظایف نظارت نشده مانند خوشه‌بندی با استفاده از یادگیری انتقال نیز ارائه خواهد شد.

فصل 8، تقویت عملکرد مدل، تکنیک‌های متعددی برای افزایش عملکرد تنظیم دقیق معمولی را مورد بحث قرار می‌دهد. در این فصل، ما بررسی خواهیم کرد که چگونه مدل‌های ترانسفورمر را فراتر از آموزش معمولی تقویت کنیم. افزایش داده‌ها، تطبیق دامنه و بهینه‌سازی هایپرپارامتر موضوعات اصلی برای بهبود عملکرد مدل هستند.

فصل 9، تنظیم دقیق کارآمد پارامتر، به جای تنظیم دقیق تمام پارامترهای یک LLM، می‌توانیم راهی ارزان‌تر و کارآمدتر برای تنظیم دقیق با تکنیک‌های پیشرفته مانند LoRa پیدا کنیم. اگرچه تنظیم دقیق مدل‌های ترانسفورمر از پیش آموزش‌دیده یک روش بسیار مفید برای حل وظایف NLP است، اما تنظیم دقیق معمولی می‌تواند از بسیاری جهات از نظر پارامترها ناکارآمد باشد. ما می‌توانیم از یک آداپتور مانند LoRa برای کاهش تعداد پارامترهایی که باید تنظیم دقیق شوند، استفاده کنیم.