کتاب Transformers for Natural Language Processing یا مبدلها برای پردازش زبان طبیعی از جدیدترین منابع یادگیری ماشین، یادگیری عمیق و مباحث مربوط به آن است. این کتاب مسائل پیشرفته در حوزهی پردازش زبان طبیعی را آموزش داده و همچنین در دنیای واقعی پیادهسازی میکند.
در ادامه مقدمهای از کتاب Transformers for Natural Language Processing را از زبان نویسنده شرح خواهیم داد.
مقدمهای بر کتاب Transformers for Natural Language Processing:
Transformers یک تغییر دهنده بازی برای درک زبان طبیعی (NLU)، زیر مجموعهای از پردازش زبان طبیعی (NLP) است که به یکی از ارکان هوش مصنوعی در اقتصاد دیجیتال جهانی تبدیل شده است.
مدلهای ترانسفورماتور آغاز عصر جدیدی در هوش مصنوعی است. درک زبان به ستون مدلسازی زبان، چتباتها، دستیاران شخصی، پاسخگویی به سؤال، خلاصهسازی متن، گفتار به متن، تحلیل احساسات، ترجمه ماشینی و غیره تبدیل شده است.
ما شاهد گسترش شبکههای اجتماعی در مقابل برخوردهای فیزیکی، تجارت الکترونیک در مقابل خرید فیزیکی، روزنامههای دیجیتال، پخش جریانی در مقابل سالنهای فیزیکی، مشاوره از راه دور پزشک در مقابل ویزیت فیزیکی، کار از راه دور به جای انجام وظایف در محل، و روندهای مشابه در صدها مورد دیگر هستیم.
دامنهها استفاده از مرورگرهای وب، سرویسهای استریم و هر گونه فعالیت دیجیتالی شامل زبان بدون درک زبان هوش مصنوعی برای جامعه بسیار دشوار خواهد بود. تغییر پارادایم جوامع ما از فیزیکی به اطلاعات دیجیتال عظیم، هوش مصنوعی را مجبور به ورود به عصر جدیدی کرد. هوش مصنوعی به مدلهای میلیارد پارامتری برای رویارویی با چالش مجموعه دادههای تریلیون کلمه تکامل یافته است.
معماری ترانسفورماتور هم انقلابی و هم مخرب است. از گذشته جدا میشود و سلطه RNN و CNN را پشت سر میگذارد. مدلهای BERT و GPT لایههای شبکه تکراری را رها کردند و آنها را با توجه به خود جایگزین کردند. مدلهای ترانسفورماتور عملکرد بهتری نسبت به RNN و CNN دارند. دهه 2020 شاهد تغییرات اساسی در هوش مصنوعی است.
رمزگذارها و رمزگشاهای ترانسفورماتور حاوی سرهای توجه هستند که به طور جداگانه تمرین میکنند و سخت افزارهای پیشرفته را موازی میکنند.
هدهای توجه میتوانند روی پردازندههای گرافیکی مجزا کار کنند که راه را برای مدلهای میلیارد پارامتری و مدلهای تریلیون پارامتری که به زودی عرضه میشوند، باز میکند. OpenAI یک مدل ترانسفورماتور GPT-3 با 175 میلیارد پارامتر را روی یک ابر رایانه با 10000 پردازنده گرافیکی و 285000 هسته پردازنده آموزش داد.
افزایش حجم دادهها مستلزم آموزش مدلهای هوش مصنوعی در مقیاس است. به این ترتیب، ترانسفورماتورها راه را برای عصر جدیدی از هوش مصنوعی پارامتر محور هموار میکنند. یادگیری درک اینکه چگونه صدها میلیون کلمه در جملات با هم قرار میگیرند به مقدار زیادی پارامتر نیاز دارد.
مدلهای ترانسفورماتور مانند Google BERT و OpenAI GPT-3 به سطح دیگری رسیدهاند. ترانسفورماتورها میتوانند صدها کار NLP را که برای آنها آموزش ندیده اند انجام دهند.
ترانسفورماتورها همچنین میتوانند با قرار دادن تصاویر به عنوان دنباله ای از کلمات، طبقه بندی و بازسازی تصویر را بیاموزند. کتاب Transformers for Natural Language Processing شما را با ترانسفورماتورهای بینایی کامپیوتری پیشرفته مانند Vision Transformers (ViT)، CLIP و DALL-E آشنا میکند.
مدلهای پایه، مدلهای ترانسفورماتور کاملاً آموزش دیده هستند که میتوانند صدها کار را بدون تنظیم دقیق انجام دهند. مدلهای بنیادی در این مقیاس ابزارهایی را که ما در این عصر اطلاعات عظیم به آن نیاز داریم ارائه میدهند.
به چند انسان نیاز دارید تا محتوای میلیاردها پیام ارسال شده در شبکههای اجتماعی در روز را کنترل کنند تا قبل از استخراج اطلاعات موجود در آنها تصمیم بگیرند که آیا آنها قانونی و اخلاقی هستند یا خیر.
به این فکر کنید که برای ترجمه میلیونها صفحه که هر روز در وب منتشر میشود، به چند انسان نیاز است. یا تصور کنید که برای کنترل دستی میلیونها پیام ارسال شده در دقیقه به چند نفر نیاز است!
در نهایت، به چند نفر نیاز دارید تا رونوشت تمام ساعتهای پخش جریانی منتشر شده در روز در وب بنویسند. در نهایت، به منابع انسانی مورد نیاز برای جایگزینی شرح تصاویر با هوش مصنوعی برای میلیاردها تصویری که به طور مداوم به صورت آنلاین ظاهر میشوند فکر کنید.
کتاب Transformers for Natural Language Processing شما را از توسعه کد به طراحی سریع، یک مهارت جدید “برنامهنویسی” که رفتار یک مدل ترانسفورماتور را کنترل میکند، هدایت میکند. هر فصل شما را با جنبههای کلیدی درک زبان از ابتدا در Python، PyTorch و TensorFlow آشنا میکند.
معماری Transformer اصلی، Google BERT، OpenAI GPT-3، T5 و چندین مدل دیگر را خواهید آموخت. ترانسفورماتورها را به خوبی تنظیم میکنید، مدلها را از ابتدا آموزش میدهید، و استفاده از API های قدرتمند را یاد میگیرید. فیس بوک، گوگل، مایکروسافت و سایر شرکتهای بزرگ فناوری، مجموعه دادههای بزرگی را برای ما به اشتراک میگذارند تا بتوانیم آنها را کاوش کنیم.
شما به بازار و تقاضای آن برای درک زبان در بسیاری از زمینهها مانند، رسانههای اجتماعی و مقالات تحقیقاتی نزدیک خواهید بود. در میان صدها وظیفه هوش مصنوعی، ما باید حجم عظیمی از دادهها را برای تحقیق خلاصه کنیم، اسناد مربوط به هر حوزهای از اقتصادمان را ترجمه کنیم، و همه پست های رسانه های اجتماعی را به دلایل اخلاقی و قانونی اسکن کنیم.
در طول کتاب، شما به صورت دستی با Python، PyTorch و TensorFlow کار خواهید کرد. شما با مدلهای کلیدی شبکه عصبی درک زبان هوش مصنوعی آشنا خواهید شد. سپس نحوه کاوش و پیاده سازی ترانسفورماتورها را یاد خواهید گرفت.
شما مهارتهای جدید مورد نیاز برای تبدیل شدن به یک متخصص هوش مصنوعی در صنعت 4.0 را در این عصر مخرب هوش مصنوعی خواهید آموخت. هدف این کتاب ارائه دانش و ابزارهای یادگیری عمیق پایتون برای توسعه مؤثر جنبههای کلیدی درک زبان است.
این کتاب برای چه کسی است؟
کتاب Transformers for Natural Language Processing مقدمه ای بر برنامه نویسی پایتون یا مفاهیم یادگیری ماشین نیست. در عوض، بر یادگیری عمیق برای ترجمههای ماشینی، گفتار به متن، متن به گفتار، مدلسازی زبان، پاسخگویی به سؤال و بسیاری از حوزههای NLP تمرکز دارد.
خوانندگانی که میتوانند بیشترین بهره را از این کتاب ببرند عبارتند از:
تمرینکنندگان یادگیری عمیق و NLP که با برنامهنویسی پایتون آشنا هستند.
تحلیلگران داده و دانشمندان داده که میخواهند مقدمه ای برای درک زبان هوش مصنوعی برای پردازش مقادیر فزاینده عملکردهای مبتنی بر زبان داشته باشند.
آنچه کتاب Transformers for Natural Language Processing پوشش میدهد:
بخش اول: مقدمهای بر معماری ترانسفورماتور
فصل 1 کتاب Transformers for Natural Language Processing، ترانسفورماتورها چیست؟، در سطح بالایی توضیح میدهد که ترانسفورماتور چیست. ما به اکوسیستم ترانسفورماتور و ویژگیهای مدلهای فونداسیون نگاه خواهیم کرد. این فصل بسیاری از پلتفرمهای موجود و تکامل متخصصان هوش مصنوعی صنعت 4.0 را برجسته میکند.
فصل 2 کتاب Transformers for Natural Language Processing، شروع با معماری مدل ترانسفورماتور، به پیشینه NLP میپردازد تا بفهمد که چگونه معماریهای یادگیری عمیق RNN، LSTM و CNN به معماری ترانسفورماتور تبدیل شدند که عصر جدیدی را باز کرد. ما معماری ترانسفورماتور را از طریق رویکرد منحصر به فرد Attention Is All You Need که توسط نویسندگان Google Research و Google Brain ابداع شده است مرور خواهیم کرد.
ما تئوری ترانسفورماتورها را شرح خواهیم داد. ما در مفاهیم پایتون عمیق میشویم تا ببینیم لایههای فرعی سر چندتوجهی چگونه کار میکنند. در پایان این فصل از کتاب Transformers for Natural Language Processing، معماری اصلی ترانسفورماتور را درک خواهید کرد. شما آماده خواهید بود تا انواع مختلف و کاربردهای ترانسفورماتور را در فصلهای بعدی بررسی کنید.
فصل 3 کتاب Transformers for Natural Language Processing، تنظیم دقیق مدلهای BERT، بر اساس معماری ترانسفورماتور اصلی است.
نمایش رمزگذار دو جهته از ترانسفورماتورها (BERT) روش جدیدی را برای درک دنیای NLP به شما نشان میدهد. BERT به جای تجزیه و تحلیل یک دنباله گذشته برای پیش بینی یک دنباله آینده، به کل دنباله توجه میکند! ابتدا نوآوریهای کلیدی معماری BERT را مرور میکنیم و سپس با گذراندن هر مرحله در دفترچه یادداشت Google Colaboratory مدل BERT را تنظیم میکنیم. مانند انسانها، BERT میتواند کارها را بیاموزد و کارهای جدید دیگر را بدون نیاز به یادگیری موضوع از ابتدا انجام دهد.
فصل 4 کتاب Transformers for Natural Language Processing، پیشآموزش یک مدل RoBERTa از ابتدا، یک مدل ترانسفورماتور RoBERTa را از ابتدا با استفاده از ماژولهای Hugging Face PyTorch میسازد. ترانسفورماتور هم شبیه BERT و هم شبیه DistilBERT خواهد بود. ابتدا، یک توکنایزر را از ابتدا بر روی یک مجموعه داده سفارشی آموزش خواهیم داد. سپس ترانسفورماتور آموزش دیده روی یک کار مدلسازی زبان پوشانده پایین دست اجرا میشود.
بخش دوم: استفاده از ترانسفورماتورها برای درک و تولید زبان طبیعی
فصل 5 کتاب Transformers for Natural Language Processing، وظایف NLP Downstream با ترانسفورماتورها، جادوی مدلهای ترانسفورماتور با وظایف NLP پایین دست را نشان میدهد. یک مدل ترانسفورماتور از قبل آموزش دیده را میتوان برای حل طیف وسیعی از وظایف NLP مانند BoolQ، CB، MultiRC، RTE، WiC و موارد دیگر تنظیم کرد و بر تابلوهای امتیازات GLUE و SuperGLUE تسلط یافت. ما فرآیند ارزیابی ترانسفورماتورها، وظایف، مجموعه دادهها و معیارها را طی خواهیم کرد. سپس برخی از وظایف پایین دستی را با خط لوله ترانسفورماتور Hugging Face اجرا خواهیم کرد.
فصل 6 کتاب Transformers for Natural Language Processing، ترجمه ماشینی با ترانسفورماتور، ترجمه ماشینی را تعریف میکند تا بفهمید که چگونه از خطوط پایه انسانی به روشهای تبدیل ماشینی بروید. سپس یک مجموعه داده فرانسوی-انگلیسی WMT از پارلمان اروپا را پیش پردازش خواهیم کرد. ترجمه ماشینی به روشهای ارزیابی دقیق نیاز دارد و در این فصل، روش امتیازدهی BLEU را بررسی میکنیم. در نهایت یک مدل ترجمه ماشینی Transformer را با Trax پیاده سازی خواهیم کرد.
فصل 7 کتاب Transformers for Natural Language Processing، ظهور ترانسفورماتورهای فرا انسانی با موتورهای GPT-3، بسیاری از جنبههای ترانسفورماتورهای GPT-2 و GPT-3 OpenAI را بررسی میکند. قبل از توضیح موتورهای مختلف GPT-3 ابتدا معماری مدلهای GPT OpenAI را بررسی میکنیم. سپس یک مدل پارامتر GPT-2 345M را اجرا میکنیم و با آن برای تولید متن تعامل میکنیم. در مرحله بعد، قبل از کدنویسی یک مدل GPT-3 برای وظایف NLP و مقایسه نتایج با GPT-2، زمین بازی GPT-3 را در عمل خواهیم دید.
فصل 8 کتاب Transformers for Natural Language Processing، استفاده از ترانسفورماتورها در اسناد حقوقی و مالی برای خلاصه سازی متن هوش مصنوعی، به مفاهیم و معماری مدل ترانسفورماتور T5 میپردازد. ما یک مدل T5 را از Hugging Face برای خلاصه کردن اسناد راه اندازی میکنیم.
ما به مدل T5 وظیفه خواهیم داشت که اسناد مختلف را خلاصه کند، از جمله نمونهای از منشور حقوق بشر، کاوش در موفقیتها و محدودیتهای رویکردهای یادگیری انتقالی که برای ترانسفورماتورها اعمال میشود. در نهایت، ما از GPT-3 برای خلاصه کردن برخی از متن قانون شرکت برای دانشآموز کلاس دوم استفاده خواهیم کرد.
فصل 9 کتاب Transformers for Natural Language Processing، تطبیق توکنسازها و مجموعه دادهها، محدودیتهای توکنسازها را تحلیل میکند و به برخی از روش های اعمال شده برای بهبود کیفیت فرآیند رمزگذاری دادهها نگاه میکند. ما ابتدا یک برنامه پایتون خواهیم ساخت تا بررسی کنیم که چرا برخی از کلمات توسط توکنایزرهای word2vector حذف یا اشتباه تفسیر میشوند. به دنبال این، ما محدودیتهای توکنسازهای از پیش آموزش دیده را با روش توکنایزر آگونیستی پیدا میکنیم.
ما یک خلاصه T5 را با به کارگیری برخی از ایدههایی که نشان میدهند هنوز جای زیادی برای بهبود روششناسی فرآیند توکنسازی وجود دارد، بهبود خواهیم داد. در نهایت، ما محدودیتهای درک زبان GPT-3 را آزمایش خواهیم کرد.
فصل 10 کتاب Transformers for Natural Language Processing، برچسبگذاری نقش معنایی با ترانسفورماتورهای مبتنی بر BERT، به بررسی چگونگی یادگیری ترانسفورماتورها برای درک محتوای یک متن میپردازد.
برچسبگذاری نقش معنایی (SRL) یک تمرین چالشبرانگیز برای یک انسان است. ترانسفورماتورها میتوانند نتایج شگفتانگیزی ایجاد کنند. ما یک مدل ترانسفورماتور مبتنی بر BERT را که توسط مؤسسه آلن برای هوش مصنوعی طراحی شده است در یک نوت بوک Google Colab پیاده سازی خواهیم کرد. ما همچنین از منابع آنلاین آنها برای تجسم خروجیهای SRL استفاده خواهیم کرد. در نهایت، ما دامنه SRL را زیر سوال خواهیم برد و دلایل پشت محدودیتهای آن را درک خواهیم کرد.
بخش سوم: تکنیکهای پیشرفته درک زبان
فصل 11 کتاب Transformers for Natural Language Processing، اجازه دهید دادههای شما صحبت کنند: داستان، پرسشها و پاسخها، نشان میدهد که چگونه یک ترانسفورماتور میتواند یاد بگیرد چگونه استدلال کند. یک ترانسفورماتور باید بتواند یک متن، یک داستان را درک کند و همچنین مهارتهای استدلالی را به نمایش بگذارد. خواهیم دید که چگونه میتوان با افزودن NER و SRL به فرآیند پاسخگویی به سؤال را افزایش داد. ما طرحی را برای یک مولد سؤال میسازیم که میتواند برای آموزش ترانسفورماتورها یا به عنوان یک راه حل مستقل استفاده شود.
فصل 12 کتاب Transformers for Natural Language Processing، تشخیص احساسات مشتری برای انجام پیشبینی، نشان میدهد که چگونه ترانسفورماتورها تجزیه و تحلیل احساسات را بهبود بخشیدهاند.
ما جملات پیچیده را با استفاده از Stenford Sentiment Treebank تجزیه و تحلیل خواهیم کرد و چندین مدل ترانسفورماتور را برای درک نه تنها ساختار یک دنباله بلکه شکل منطقی آن به چالش خواهیم کشید. خواهیم دید که چگونه از ترانسفورماتورها برای پیشبینیهایی استفاده کنیم که بسته به خروجی تحلیل احساسات، اقدامات مختلفی را آغاز میکنند. فصل با برخی از موارد لبه با استفاده از GPT-3 به پایان میرسد.
بیشتر بخوانید: کتاب Natural Language Processing Projects
فصل 13 کتاب Transformers for Natural Language Processing، تجزیه و تحلیل اخبار جعلی با ترانسفورماتورها، به موضوع داغ اخبار جعلی و اینکه چگونه ترانسفورماتورها میتوانند به ما در درک دیدگاههای مختلف محتوای آنلاینی که هر روز میبینیم کمک کنند، میپردازد.
هر روز میلیاردها پیام، پست و مقاله از طریق رسانههای اجتماعی، وبسایتها و هر نوع ارتباط بیدرنگ موجود در وب منتشر میشود. با استفاده از چندین تکنیک از فصلهای قبلی، بحثهای مربوط به تغییرات آب و هوا و کنترل اسلحه و توییتهای یک رئیس جمهور سابق را تحلیل خواهیم کرد. ما با مشکل اخلاقی و اخلاقی تعیین خواهیم کرد که چه چیزی را میتوان اخبار جعلی فراتر از شک معقول تلقی کرد و چه اخباری ذهنی باقی میماند.
فصل 14 کتاب Transformers for Natural Language Processing، تفسیر مدلهای ترانسفورماتور جعبه سیاه، درب جعبه سیاه را که مدلهای ترانسفورماتور است، با تجسم فعالیت آنها بالا میبرد. ما از BertViz برای تجسم سرهای توجه و ابزار تفسیرپذیری زبان (LIT) برای انجام تجزیه و تحلیل مؤلفه اصلی (PCA) استفاده خواهیم کرد. در نهایت، ما از LIME برای تجسم ترانسفورماتورها از طریق یادگیری فرهنگ لغت استفاده خواهیم کرد.
فصل 15 کتاب Transformers for Natural Language Processing، از NLP تا مدلهای ترانسفورماتور Task-Agnostic، به مدلهای پیشرفته Reformer و DeBERTa میپردازد، نمونههایی را با استفاده از Hugging Face اجرا میکنند. ترانسفورماتورها میتوانند تصاویر را به صورت دنباله ای از کلمات پردازش کنند. ما همچنین ترانسفورماتورهای بینایی مختلف مانند ViT، CLIP و DALL-E را بررسی خواهیم کرد. ما آنها را بر روی وظایف بینایی کامپیوتری، از جمله تولید تصاویر کامپیوتری، آزمایش خواهیم کرد.
فصل 16 کتاب Transformers for Natural Language Processing، ظهور خلبانهای ترانسفورماتور محور، بلوغ صنعت 4.0 را بررسی میکند. این فصل از کتاب Transformers for Natural Language Processing با مثالهای مهندسی سریع با استفاده از انگلیسی غیررسمی/گاهی آغاز میشود.
در مرحله بعد، از GitHub Copilot و OpenAI Codex برای ایجاد کد از چند خط دستورالعمل استفاده خواهیم کرد. خواهیم دید که ترانسفورماتورهای بینایی میتوانند به ترانسفورماتورهای NLP کمک کنند تا دنیای اطراف خود را تجسم کنند. ما یک سیستم توصیه مبتنی بر ترانسفورماتور ایجاد خواهیم کرد، که میتواند توسط انسانهای دیجیتال در هر فراوری که ممکن است در آن قرار بگیرید استفاده کند!
پیوست I کتاب Transformers for Natural Language Processing، اصطلاحات مدلهای ترانسفورماتور، ساختار سطح بالای یک ترانسفورماتور را از پشتهها و لایههای فرعی گرفته تا موارد اصلی، توجه و بررسی میکند.
پیوست II، محدودیتهای سختافزاری برای مدلهای ترانسفورماتور، به ترانسفورماتورهای در حال اجرا عملکرد CPU و GPU میپردازد. ما خواهیم دید که چرا ترانسفورماتورها و پردازندههای گرافیکی و ترانسفورماتورها با هم تطابق کامل دارند و با آزمایشی با استفاده از CPU Google Colab، Google Colab Free GPU و Google Colab Pro GPU به پایان میرسد.
پیوست III کتاب Transformers for Natural Language Processing، تکمیل متن عمومی با GPT-2، توضیح مفصلی درباره تکمیل متن عمومی با استفاده از GPT-2 از فصل 7، ظهور ترانسفورماتورهای فراانسانی با موتورهای GPT-3 ارائه میدهد.
پیوست IV، تکمیل متن سفارشی با GPT-2، مکمل فصل 7، ظهور ترانسفورماتورهای فراانسانی با موتورهای GPT-3 با ساخت و آموزش یک مدل GPT-2 و ایجاد تعامل آن با متن سفارشی.
ضمیمه V، پاسخ به سؤالات، پاسخ سؤالات پایان هر فصل را ارائه میدهد.
سرفصلهای کتاب Transformers for Natural Language Processing:
- Contributors
- About the author
- About the reviewers
- Preface
- Section 1: Python-Native and Specialized Optimization
- Chapter 1: Benchmarking and Profiling
- Chapter 2: Pure Python Optimizations
- Chapter 3: Fast Array Operations with NumPy, Pandas, and Xarray
- Chapter 4: C Performance with Cython
- Chapter 5: Exploring Compilers
- Chapter 6: Automatic Differentiation and Accelerated Linear Algebra for Machine Learning
- Section 2: Concurrency and Parallelism
- Chapter 7: Implementing Concurrency
- Chapter 8: Parallel Processing
- Chapter 9: Concurrent Web Requests
- Chapter 10: Concurrent Image Processing
- Chapter 11: Building Communication Channels with asyncio
- Chapter 12: Deadlocks
- Chapter 13: Starvation
- Chapter 14: Race Conditions
- Chapter 15: The Global Interpreter Lock
- Section 3: Design Patterns in Python
- Chapter 16: The Factory Pattern
- Chapter 17: The Builder Pattern
- Chapter 18: Other Creational Patterns
- Chapter 19: The Adapter Pattern
- Chapter 20: The Decorator Pattern
- Chapter 21: The Bridge Pattern
- Chapter 22: The Façade Pattern
- Chapter 23: Other Structural Patterns
- Chapter 24: The Chain of Responsibility Pattern
- Chapter 25: The Command Pattern
- Chapter 26: The Observer Pattern
- Assessments
فایل کتاب Transformers for Natural Language Processing را میتوانید پس از پرداخت، دریافت کنید.
دیدگاهها
هیچ دیدگاهی برای این محصول نوشته نشده است.