کتاب Getting Started with Deep Learning for Natural Language Processing برای آموزش یادگیری عمیق به وسیله پردازش زبان طبیعی یا NLP است. این کتاب در 11 فصل به شرح کامل این فناوری در زمینه یادگیری عمیق می‌پردازد. در ادامه به شرح مقدمه‌ای از کتاب Getting Started with Deep Learning for Natural Language Processing از زبان نویسنده کتاب خواهیم پرداخت.
مقدمه‌ای بر کتاب Getting Started with Deep Learning for Natural Language Processing:
“ارزشمندترین منبع جهان دیگر نفت نیست بلکه داده‌های آن است”. امروزه، تیتان‌ها و با ارزش‌ترین شرکت‌های جهان مانند آمازون، گوگل، اپل و مایکروسافت نگرانی‌های مشابهی را دارند که یک قرن پیش برای نفت مطرح شده بود.
داده‌ها شیوه زندگی ما را تغییر می‌دهد و میزان داده‌های تولید شده در چند سال گذشته بیشتر از آن چیزی است که از زمان وجود انسان وجود داشته است. انتظار می‌رود با رونق دستگاه‌های متصل، دستیاران شخصی، بلاک‌چین و دستگاه‌های تلفن همراه، حجم داده‌ها به طور تصاعدی افزایش یابد. شرایط ذخیره‌سازی داده‌ها مطلوب است، زیرا دستگاه‌های ذخیره‌سازی هر 3 سال 3 برابر ارزان‌تر می‌شوند.
غول‌های سخت‌افزاری مانند انویدیا قبلاً ادعا کرده‌اند که قانون مور را نقض کرده‌اند، که همچنین نشان‌دهنده رشد تصاعدی قدرت پردازشی است. دنیای امروز برای اقتصاد داده محور بسیار مطلوب است. و دقیقاً به همین دلیل است که داده‌ها روغن بعدی هستند.
داده‌های بدون ساختار و ساختار یافته با سرعت مشابهی در حال افزایش است. مورد اول از اکثر منابع به دست می‌آید و الگوریتم‌هایی برای ذخیره و جذب چنین داده‌هایی دائماً کشف می‌شوند.
داده‌های بدون ساختار می‌توانند هر چیزی باشند، برای مثال، ادبیات علمی، عکس‌های سلفی تصادفی، پیام‌های چت، داده‌های حسگر از وسایل نقلیه خودران و صدا/ویدئو از طریق اینترنت. این اطلاعات سرشار از اطلاعات است، اما پردازش چنین داده‌هایی و آموزش ماشین با استفاده از چنین داده‌هایی چالش برانگیز است. با این حال، پیشرفت در زمینه درک بهتر داده‌های بدون ساختار و استفاده از چنین شبکه‌ای از پیش آموزش دیده برای یادگیری تحت نظارت صورت گرفته است.
در سال‌های اخیر. این تکنیک با اصطلاح “آموزش انتقال” معروف است. یادگیری انتقال زمان آموزش را کاهش می‌دهد و همچنین به داده‌های آموزشی کمتری برای دستیابی به نتایج پیشرفته نیاز دارد. نوع دیگری از داده‌ها داده‌های ساخت یافته هستند که عمدتاً به صورت دستی تنظیم می‌شوند یا به صورت نیمه خودکار تولید می‌شوند. در واقع، داده‌های ساختار یافته یک شمش طلا است، دارایی که میلیون‌ها هزینه دارد و می‌تواند میلیاردها دلار بازپرداخت کند.
یادگیری ماشین به طور گسترده‌ای در زمینه تشخیص پزشکی مورد استفاده قرار می‌گیرد. به تازگی، اداره غذا و دارو (FDA) یک ربات به نام IDx DR را به عنوان اولین سیستم تشخیصی مستقل مبتنی بر AI توسعه داده است.
یک استارتاپ دیگر در سانفرانسیسکو یک سیستم جذب متن به نام رابط استخدام خودکار (ARI) ایجاد کرد که قادر به گفتگوی دو طرفه با نامزدها است. همچنین می‌تواند آگهی‌ها و فرصت‌های شغلی ارسال کند، زمان بندی و انجام مصاحبه ها را انجام دهد و تمام به روز رسانی‌ها را در طول کل قیف استخدام حفظ کند. استارت‌آپ‌ها و شرکت‌ها در حال توسعه سیستمی مانند Artificial Intelligence Artist Artist (AIVA) هستند.
شرکت‌هایی مانند Melodies و Google در حال تولید موسیقی با استفاده از هوش مصنوعی هستند. در وبلاگ محبوب آندره کارپاتی با عنوان “اثر بی‌دلیل شبکه‌های عصبی مکرر”، او نشان داد که مدل‌های LSTM می‌توانند به راحتی اشعار تولید کنند. چندان دور نیست که رباتی در رستوران غذا درست کنند و در حالی که به زیبایی آواز می‌خوانند، آن را سرو کنند. این موسیقی تولید شده توسط شما رتبه‌بندی می‌شود و بر اساس رتبه‌بندی شما فوراً به صورت زنده در نقطه‌ای دیگر از جهان به فروش می‌رسد. موج جدید توسط ایجاد شده است
Google duplex – موتور هوش مصنوعی که می‌تواند از طرف شما برای رزرو تماس بگیرد. یادگیری ماشین از کاربردهای مساوی در زمینه‌های بینایی و متن برخوردار است. موارد استفاده مربوط به بینایی در رباتیک، اتومبیل‌های خودران، وسایل نقلیه خودگردان، خواننده‌های نوری، دوربین‌های نظارتی و سیستم‌های امنیتی وجود دارد.
کاربرد تکنیک‌های یادگیری ماشینی بر روی متن به عنوان پردازش زبان طبیعی (NLP) نیز شناخته می‌شود که می‌تواند در برنامه‌هایی مانند خلاصه متن، تجزیه و تحلیل احساسات، تجزیه و تحلیل قصد، تشخیص سرقت علمی، ترجمه زبان، استخراج موضوع و ترجمه زبان صوتی، متن استفاده شود.
به گفتار و گفتار به متن. در 2 سال گذشته، نمره GLUE تقریباً 15 امتیاز از 64.7 به 80.4 رسید. معیار ارزیابی عمومی درک زبان (GLUE) مجموعه‌ای از منابع برای آموزش، ارزیابی و تجزیه و تحلیل سیستم‌های درک زبان طبیعی است. مدل‌های مختلف پیشرفته‌ای مانند ELMo ،ULMFiT ترانسفورماتور OpenAi و مدل‌های Brat شبیه به هم آمده‌اند و مدام مدل‌های قبلی خود را تکان می‌دهند. این حرکت ImageNet برای متن است.
کتاب Getting Started with Deep Learning for Natural Language Processing درک همه منابع است که نه تنها نیاز به یادگیری NLP بلکه برای تسلط بر آن دارد و با در نظر گرفتن مهارت‌های مبتدی نوشته شده است. کتاب Getting Started with Deep Learning for Natural Language Processing تمام طیف را شامل می‌شود، از درک مفهوم اساسی یادگیری ماشین گرفته تا استفاده از شبکه‌های پیچیده مانند شبکه‌های مولد، یادگیری تقویتی و پردازش گفتار در NLP.
در فصل 1 از کتاب Getting Started with Deep Learning for Natural Language Processing، ما با اصول یادگیری ماشین آشنا می‌شویم. این فصل شامل مفاهیم اساسی مانند درک داده‌ها، زمان استفاده از یادگیری ماشین، درک جنبه‌های مختلف آموزش یک مدل، اصل بنیادی یادگیری ماشینی و هوش مصنوعی، تعمیم و مقابله با بیش از حد و عدم تناسب است. این فصل مفاهیم تشخیصی مانند مبادله تعصب واریانس، منحنی‌های آموزش و یادگیری، تعمیم و مفاهیم منظم را پوشش می‌دهد.
در فصل 2 کتاب Getting Started with Deep Learning for Natural Language Processing، ما پردازش اولیه متن را می‌آموزیم. این فصل استفاده و همچنین اجرای تکنیک‌هایی مانند stemming ،lemmatization و tokenization را پوشش می‌دهد. این فصل عملیات اساسی و ایجاد شبکه با Pytorch را پوشش می‌دهد.
یادگیری درباره Pytorch به کاربران کمک می‌کند تا شبکه را طبق فرآیند فکر مورد نظر سریع کامپایل کنند. از آنجا که محدوده کتاب Getting Started with Deep Learning for Natural Language Processing بر روی NLP متمرکز است، ما همچنین یک ابزار به نام TorchText را کشف خواهیم کرد. بسیاری از مشکلات مربوط به پردازش متن را کاهش می‌دهد و همچنین به راحتی داده‌ها را در چندین GPU توزیع می‌کند.
فصل 3 کتاب Getting Started with Deep Learning for Natural Language Processing، در مورد تبدیل/ نمایش متن ما به بردار است تا بتواند به راحتی توسط مدل‌ها مصرف شود. این فصل تکنیک‌های مختلف حیاتی مانند TF-IDF و Word2Vec را پوشش می‌دهد. علاوه بر تکنیک‌های سنتی، تکنیک‌های جاسازی بردار مبتنی بر شخصیت مانند FastText را نیز پوشش می‌دهد.
فصل 4 کتاب Getting Started with Deep Learning for Natural Language Processing، شبکه عصبی مکرر (RNN) را پوشش می‌دهد، که یک نقطه عطف در تکنیک‌های پردازش توالی محسوب می‌شود. با جلو آمدن از Vanilla RNN، این فصل همچنین به خوانندگان کمک می‌کند تا واحدهای Gated Recurrent Units (GRU) و حافظه کوتاه مدت بلند (LSTM) را درک کرده و پیاده‌سازی کنند. این فصل موضوعاتی مانند اجرای دسته‌ای شبکه‌های مکرر، معماری توجه و شبکه‌های بزرگراه را پوشش می‌دهد که به ما امکان می‌دهد مدل‌های دنباله‌ای بسیار عمیق را آموزش دهیم.
فصل 5 کتاب Getting Started with Deep Learning for Natural Language Processing، شما را از طریق شبکه‌های عصبی متحرک (CNN)، که امروزه در پردازش متن استفاده می‌شود، راهنمایی می‌کند. در این فصل، ما عملیات پیچشی اساسی و تأثیر پارامترهای مختلف مربوط به CNN را در صحت وظیفه مربوطه می‌آموزیم.
این فصل همچنین مفاهیمی مانند Dropout و batch normalization را پوشش می‌دهد که به دستیابی به دقت بیشتر با CNN کمک می‌کند. ما همچنین معماری‌های پیشرفته مانند DenseNet را پوشش خواهیم داد. پس از پوشش دادن همه موارد مورد نیاز برای پیشرفت، وقت آن است که از مدل تولید شده به صورت بدون نظارت یا شخص دیگری در کار خود استفاده کنیم.
فصل 6 کتاب Getting Started with Deep Learning for Natural Language Processing، مباحث حیاتی مورد نیاز برای استفاده از آموزش انتقال با متن را بررسی می‌کند. این فصل معماری‌های پیشرفته‌ای مانند ELMo-Bilm، جمله به بردار، رد کردن فکر و InferSent را پوشش می‌دهد. تمام فصل‌های قبلی پایه خوبی را ایجاد می‌کند، و اکنون ما ترکیبی از همه تکنیک‌ها را برای کارهای عملی NLP مانند تجزیه و تحلیل احساسات، پیاده‌سازی رویکردهای مختلف مدل‌سازی موضوع، تولید متن، ساختن به رسمیت شناختن موجودیت، ساخت موتور خلاصه‌سازی متن و ساختن زبان استفاده می‌کنیم. مدل ترجمه
فصل 7 کتاب Getting Started with Deep Learning for Natural Language Processing، تجربه عملی در مورد موارد استفاده ذکر شده را ارائه می‌دهد.
فصل 8 کتاب Getting Started with Deep Learning for Natural Language Processing، همه در مورد شبکه‌های پیچیده و تکنیک‌های اخیر است. شما را از طریق شبکه عصبی متحدال مکرر (RCNN) و شبکه سیامی می‌برد. این فصل تکنیک‌های پیشرفته‌ای مانند چند مدل تصادفی، تکنیک‌های Snapshot Ensemble، تشخیص از دست دادن CTC و Sentence Piece را پوشش می‌دهد. همچنین یک برنامه فوق‌العاده از RNN و CNN را در ایجاد زیرنویس از تصاویر مورد بررسی قرار می‌دهد.
فصل 9 کتاب Getting Started with Deep Learning for Natural Language Processing، به شما کمک می‌کند تا دنیای جذاب Ian Goodfellow و مفاهیمی مانندNash Equilibrium ، KL-Divergence ،KLDivergence ،JS-Divergence و KullbackLeibler واگرایی را برای درک کار بر روی شبکه مخالف تولیدکننده درک کنید. ما نکات و ترفندهایی را برای حل مشکل شیب ناپایدار در GAN بررسی می‌کنیم. در نهایت، انواع مختلف GAN مانند Autoencoder Variational را درک کرده و کدگذاری می‌کنیم و کاربرد GAN را در ایجاد تصاویر از متن یاد می‌گیریم.
فصل 10 کتاب Getting Started with Deep Learning for Natural Language Processing، تکنیک‌های پیشرفته‌تر پردازش گفتار را به شما آموزش می‌دهد. این نحوه چگونگی ضبط و ذخیره سیگنال‌های صوتی را بررسی می‌کند و در مورد استفاده کوچک از تشخیص ارقام گفتاری با یک مدل سرتاسری صحبت می‌کند.
این فصل از کتاب Getting Started with Deep Learning for Natural Language Processing، همچنین چارچوب‌های پیشرفته، مانند گفتار عمیق و صدای عمیق را پوشش می‌دهد و کاربرد آن‌ها پوشش داده شده است. در پایان، کتاب نحوه انجام آموزش سریعتر و استقرار بهتر با استفاده از جدیدترین پیشرفت‌ها در سخت‌افزار و نرم‌افزار را بررسی می‌کند.
کتاب Getting Started with Deep Learning for Natural Language Processing همه موضوعات ضروری از اصول اولیه یادگیری ماشین را برای پیشبرد تکنیک‌های NLP پوشش می‌دهد. با این وجود، برای درک سریع این موضوعات، باید مفاهیم اولیه یادگیری ماشین را بدانید.
این کتاب فرض می‌کند که شما با اصول اولیه یادگیری ماشین و کتابخانه‌هایی مانند Numpy ،NLTK ،Matplotlib ،PIL و Scikit-Learn تجربه عملی دارید. کتابخانه هایی مانند PyTorch با تمایز مورد نیاز در طول انتشار مدل‌های Deep Learning سروکار دارند و کاربران را از ریاضیات مورد نیاز در ساخت چنین مدل‌هایی از ابتدا دور می‌کند. ما از PyTorch استفاده خواهیم کرد، اما درک جبر اولیه، آمار و فضای بردار به درک آسانتر کمک می‌کند.
برای مطالعه بیشتر در مورد Deep Learning می‌توانید از کتاب Introduction to Deep Learning نیز استفاده نمائید.
سرفصل‌های کتاب Getting Started with Deep Learning for Natural Language Processing:
- 1. Understanding the Basics of Learning Process
- 2. Text Processing Techniques
- 3. Representing Language Mathematically
- 4. Using RNN for NLP
- 5. Applying CNN in NLP Tasks
- 6. Accelerating NLP with Transfer Learning
- 7. Applying Deep Learning to NLP Tasks
- 8. Application of Complex Architectures in NLP
- 9. Understanding Generative Networks
- 10. Techniques of Speech Processing
- 11. The Road Ahead
- Conclusion
- Index
فایل کتاب Getting Started with Deep Learning for Natural Language Processing را می‌توانید پس از پرداخت، دریافت کنید.
نقد و بررسی‌ها
هنوز بررسی‌ای ثبت نشده است.