کتاب Practical Deep Reinforcement Learning with Python

کتاب Practical Deep Reinforcement Learning with Python (یادگیری عمیق تقویتی عملی با پایتون، پیاده‌سازی مختصر الگوریتم‌ها، ریاضیات ساده شده و استفاده مؤثر از TensorFlow و PyTorch) یک منبع بسیار کامل برای یادگیری عمیق تقویتی یا Deep Reinforcement Learning به صورت عملی و با استفاده از زبان برنامه‌نویسی پایتون و چارچوب‌های TensorFlow و PyTorch است.

در ادامه مقدمه‌ای از کتاب Practical Deep Reinforcement Learning with Python را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب Practical Deep Reinforcement Learning with Python:

یادگیری تقویتی یکی از پویاترین حوزه‌های تحقیقاتی در یادگیری ماشین است. مطالعه می‌کند که چگونه یک عامل می تواند رفتار کامل را در یک محیط ناشناخته و دائماً در حال تغییر وفق دهد و بیاموزد. بسیاری از دانشمندان معتقدند که یادگیری تقویتی ما را به هوش مصنوعی نزدیکتر می‌کند. در چند سال گذشته، یادگیری تقویتی به سرعت تکامل یافته است و در کاربردهای پیچیده اعم از معاملات سهام تا خودروهای خودران مورد استفاده قرار گرفته است. دلیل اصلی این رشد درگیر شدن یادگیری تقویتی عمیق است که ترکیبی از یادگیری عمیق و یادگیری تقویتی است.

علی‌رغم محبوبیت، یادگیری تقویتی می تواند برای یک دانشمند داده مبتدی حوزه نسبتاً پیچیده‌ای برای مطالعه به نظر برسد. معمولاً بسیاری از منابع مملو از مفاهیم، ​​برهان‌ها و فرمول‌های پیچیده ریاضی هستند. این کتاب مقدمه ای کاربردی برای یادگیری تقویتی ارائه می‌دهد. البته این کتاب حاوی ریاضیات است، اما سعی نمی‌کند خواننده را که تازه با این موضوع آشنا شده است تحت تأثیر قرار دهد. هر فصل به پروژه خاصی اختصاص دارد که با استفاده از یک رویکرد خاص حل می‌شود. بنابراین این کتاب سفری هیجان انگیز را از خاستگاه یادگیری تقویتی به پیشرفته‌ترین روش‌های یادگیری تقویتی عمیق با استفاده از PyTorch و TensorFlow می آورد.

کتاب Practical Deep Reinforcement Learning with Python به 2 قسمت تقسیم شده است. بخش اول یادگیری تقویتی کلاسیک را معرفی می‌کند. اصول یادگیری تقویتی را پوشش می‌دهد، تکنیک‌های معروفی مانند یادگیری Q، روش مونت کارلو و نمونه‌برداری تامپسون را توضیح می‌دهد. بخش دوم به یک رویکرد پیشرفته به نام یادگیری تقویت عمیق اختصاص دارد. این نشان می‌دهد که چگونه دستاوردهای جدید در شبکه‌های عصبی و یادگیری عمیق می‌تواند به حل مشکلات رایج زندگی واقعی با استفاده از روش‌های Deep Q-Network، Double Deep Q-Network، Policy Gradient و Actor-Critic کمک کند.

فصل 1 مقدمه کوتاهی بر یادگیری تقویتی دارد. ما اصول یادگیری تقویتی را مطالعه خواهیم کرد. همچنین، چگونگی تفاوت یادگیری تقویتی با سایر رویکردهای یادگیری ماشین را بررسی خواهیم کرد. و در نهایت نمونه‌هایی از مشکلات یادگیری تقویتی و اهمیت آن‌ها را نشان می‌دهد.

فصل 2 کتاب Practical Deep Reinforcement Learning with Python اصول نظریه فرآیند پاداش مارکوف را پوشش می‌دهد که اساس کل یادگیری تقویتی را تشکیل می‌دهد. ما فرآیندهای پاداش مارکوف را با استفاده از مثال بازی رومیزی انحصاری مطالعه خواهیم کرد.

فصل 3 چارچوب Gym را معرفی می‌کند. Gym Framework یک کتابخانه پایتون است که محیطی را برای تقویت مشکلات یادگیری مدل می‌کند. Gym فرآیند تست راه حل‌ها برای تقویت مشکلات یادگیری را یکپارچه می‌کند و محیط‌های بسیار جذاب زیادی را فراهم می‌کند که برای یک دانشمند مبتدی داده بسیار مفید خواهد بود.

فصل 4 کتاب Practical Deep Reinforcement Learning with Python بر مسئله راهزن چند مسلح تمرکز خواهد کرد. با وجود سادگی فرمولاسیون و راه حل، این مشکل ارزش عملی زیادی دارد. در این فصل به بررسی دو سیاست برای حل مشکل راهزن چند مسلح می‌پردازیم: سیاست حریص اپسیلون و سیاست نمونه برداری تامپسون. مفاهیم تحت پوشش این فصل بر بسیاری از جنبه‌های یادگیری تقویتی تأثیر می‌گذارد.

فصل 5 اصول روش مونت کارلو به کار رفته در بلک جک را نشان می‌دهد. در این فصل سعی خواهیم کرد یک استراتژی بهینه برای بازی بلک جک ایجاد کنیم و سپس فروشنده را به چالش بکشیم. شما با مفهوم مهم تابع Q(s, a) عمل-ارزش آشنا خواهید شد که یکی از سنگ بناهای یادگیری تقویتی است.

فصل 6 کتاب Practical Deep Reinforcement Learning with Python یادگیری Q را معرفی می‌کند و توضیح می‌دهد که چگونه می توان از این روش برای یافتن کوتاه ترین مسیر برای فرار از پیچ و خم استفاده کرد. یادگیری Q یک روش یادگیری تقویتی بسیار کارآمد است و مشکل ماز این روش را به خوبی نشان می‌دهد.

فصل 7 یک تکنیک گسسته سازی مفید را پوشش می‌دهد، که به انطباق محیط با فضاهای حالت پیوسته با روش‌های کلاسیک یادگیری تقویتی کمک می‌کند. این فصل پلی از یادگیری تقویتی کلاسیک به یادگیری تقویتی عمیق ارائه می‌دهد.

فصل 8 کتاب Practical Deep Reinforcement Learning with Python تکنیک‌های اساسی یادگیری عمیق را با TensorFlow و PyTorch معرفی می‌کند. نحوه طراحی و اعمال یک شبکه عصبی را توضیح می‌دهد. و به عنوان آخرین مرحله، نحوه ایجاد یک شبکه عصبی برای مشکل تشخیص ارقام دست نویس را نشان خواهیم داد.

فصل 9 یکی از محبوب‌ترین الگوریتم‌های یادگیری تقویت عمیق به نام Deep Q-Network یا DQN را نشان می‌دهد. بسیاری از الگوریتم‌های پیشرفته یادگیری تقویت عمیق مبتنی بر DQN هستند. DQN نقطه شروعی است که یادگیری تقویتی و یادگیری عمیق با یکدیگر ملاقات می کنند. این رویکرد به طور قابل توجهی دامنه مشکلات یادگیری تقویتی را که می تواند به طور عملی حل شود، گسترش می‌دهد.

فصل 10 کتاب Practical Deep Reinforcement Learning with Python رویکرد Double Deep Q-Network را معرفی می‌کند. ما این رویکرد را برای آموزش یک مأمور در حال انجام بازی‌های ویدیویی به کار خواهیم برد!

فصل 11 روش گرادیان سیاست را پوشش می‌دهد. این رویکرد به ما اجازه می‌دهد تا مسائلی را که در آنها روش یادگیری Q به اندازه کافی خوب نیست، حل کنیم. ما مزایا و معایب این تکنیک را مطالعه خواهیم کرد و آن را در مسئله کلاسیک CartPole اعمال خواهیم کرد.

فصل 12 کتاب Practical Deep Reinforcement Learning with Python در مورد روش بازیگر- منتقد به ما می گوید. رویکرد بازیگر-نقد بهترین روش گرادیان خط مشی و تکنیک یادگیری Q را ترکیب می‌کند و یکی از مهم‌ترین دستاوردهای یادگیری تقویتی است. ما مدل Actor-Critic را برای یک مشکل معاملات سهام واقعی اعمال خواهیم کرد.

فصل 13 کتاب را با ارائه یک نمای کلی از نظریه یادگیری تقویتی به پایان می‌رساند. در این فصل، مسیرهای مختلفی را می‌بینیم که خواننده می‌تواند پس از تکمیل این کتاب دنبال کند.

سرفصل‌های کتاب Practical Deep Reinforcement Learning with Python:

• Cover Page
• Title Page
• Copyright Page
• Dedication Page
• About the Author
• About the Reviewer
• Acknowledgement
• Preface
• Errata
• Table of Contents
• Part I
  • 1. Introducing Reinforcement Learning
  • 2. Playing Monopoly and Markov Decision Process
  • 3. Training in Gym
  • 4. Struggling with Multi-Armed Bandits
  • 5. Blackjack in Monte Carlo
  • 6. Escaping Maze with Q-Learning
  • 7. Discretization
• Part II: Deep Reinforcement Learning
  • 8. TensorFlow, PyTorch, and Your First Neural Network
  • 9. Deep Q-Network and Lunar Lander
  • 10. Defending Atlantis with Double Deep Q-Network
  • 11. From Q-Learning to Policy-Gradient
  • 12. Stock Trading with Actor-Critic
  • 13. What Is Next?
• Index

جهت دانلود کتاب Practical Deep Reinforcement Learning with Python می‌توانید پس از پرداخت، دریافت کنید.