کتاب Reinforcement Learning for Finance

بگو و فراموش می‌کنم، بیاموز و به یاد می‌آورم، درگیرم کن و می‌آموزم.

بنجامین فرانکلین

یادگیری تقویتی (RL) به پیشرفت‌های بسیاری در هوش مصنوعی منجر شده است. یکی از الگوریتم‌های کلیدی در RL، یادگیری عمیق Q (DQL) است که می‌تواند برای تعداد زیادی از مسائل تصمیم‌گیری دینامیک اعمال شود. مثال‌های رایج، بازی‌های آرکید و بازی‌های تخته‌ای مانند Go هستند که در بسیاری از موارد، الگوریتم‌های RL و DQL به عملکردی فراتر از انسان دست یافته‌اند. این دستاورد اغلب در حالی رخ داده است که کارشناسان معتقد بودند چنین شاهکارهایی دهه‌ها طول خواهد کشید.

مالی، رشته‌ای است که ارتباط قوی بین نظریه و عمل دارد. پیشرفت‌های نظری اغلب به سرعت راه خود را به حوزه کاربردی پیدا می‌کنند. بسیاری از مسائل مالی، مسائل تصمیم‌گیری دینامیک هستند، مانند تخصیص بهینه دارایی‌ها در طول زمان. بنابراین، از یک طرف، اعمال DQL بر مسائل مالی از نظر نظری جالب است. از سوی دیگر، اعمال چنین الگوریتم‌هایی در بازارهای مالی، معمولاً پس از آزمایش‌های دقیق، بسیار ساده و مستقیم است.

در سال‌های اخیر، تحقیقات مالی شاهد رشد چشمگیر در انتشارات مرتبط با RL، DQL و روش‌های مرتبط اعمال‌شده در امور مالی بوده است. با این حال، به سختی منبعی به شکل کتاب – فراتر از منابع صرفاً نظری – برای کسانی که به دنبال معرفی کاربردی این حوزه هیجان‌انگیز هستند، وجود دارد. این کتاب این شکاف را پر می‌کند زیرا زمینه‌های لازم را به شیوه‌ای مختصر ارائه می‌دهد و در غیر این صورت بر اجرای الگوریتم‌ها به شکل کد پایتون مستقل و کاربرد آن در مسائل مالی مهم تمرکز می‌کند.

مخاطب هدف

کتاب Reinforcement Learning for Finance به عنوان یک مقدمه مختصر مبتنی بر پایتون برای ایده‌ها و عناصر اصلی RL و DQL به کار رفته در امور مالی در نظر گرفته شده است. این کتاب باید هم برای دانشجویان و دانشگاهیان و هم برای متخصصان به دنبال جایگزینی برای نظریه‌ها و الگوریتم‌های مالی موجود مفید باشد. این کتاب دانش اولیه زبان برنامه‌نویسی پایتون، برنامه‌نویسی شیءگرا و بسته‌های اصلی پایتون مورد استفاده در علم داده و یادگیری ماشین مانند NumPy، pandas، matplotlib، scikit-learn و TensorFlow را انتظار دارد.

بررسی اجمالی کتاب

کتاب Reinforcement Learning for Finance شامل فصل‌های زیر است:

فصل 1

فصل اول بر یادگیری از طریق تعامل با چهار مثال اصلی تمرکز می‌کند: تطابق احتمالی، به‌روزرسانی بیزی، RL و DQL.

فصل 2

فصل دوم مفاهیمی از برنامه‌نویسی دینامیک (DP) را معرفی می‌کند و DQL را به‌عنوان رویکردی برای حل تقریبی مسائل DP مورد بحث قرار می‌دهد. موضوع اصلی، استخراج سیاست‌های بهینه برای حداکثر کردن یک تابع هدف معین از طریق انجام یک دنباله از اقدامات و به‌روزرسانی سیاست بهینه به صورت تکرارشونده است. DQL بر اساس یک عامل DQL که یاد می‌گیرد بازی CartPole را از بسته پایتون Gymnasium بازی کند، نشان داده شده است.

فصل 3

فصل سوم کتاب Reinforcement Learning for Finance اولین محیط مالی را توسعه می‌دهد که به عامل DQL از فصل 2 اجازه می‌دهد یک بازی پیش‌بینی مالی را یاد بگیرد. اگرچه این محیط به طور رسمی API بازی CartPole را تکرار می‌کند، اما برخی از ویژگی‌های مهم مورد نیاز برای اعمال موفقیت‌آمیز RL را از دست می‌دهد.

فصل 4

فصل چهارم کتاب Reinforcement Learning for Finance در مورد افزایش داده بر اساس رویکردهای شبیه‌سازی مونت کارلو (MCS) است و افزودن نویز به داده‌های تاریخی و شبیه‌سازی فرایندهای تصادفی را مورد بحث قرار می‌دهد.

فصل 5

فصل پنجم شبکه‌های مولد متخاصم (GAN) را برای تولید مصنوعی داده‌های سری زمانی معرفی می‌کند که دارای ویژگی‌های آماری مشابه با داده‌های سری زمانی تاریخی است که یک GAN روی آن آموزش دیده است.

فصل 6

کتاب Reinforcement Learning for Finance با استفاده از مثال فصل 3، این فصل DQL را به مسئله معاملات الگوریتمی مبتنی بر پیش‌بینی جهت حرکت قیمت بعدی اعمال می‌کند.

فصل 7

فصل هفتم در مورد یادگیری استراتژی‌های پوشش دینامیک بهینه برای یک اختیار با تمرین اروپایی در مدل بلک-شولز-مرتون (1973) است. به عبارت دیگر، هدف، پوشش دلتا یا تکثیر دینامیک اختیار است.

فصل 8

این فصل DQL را به سه مثال متعارف در مدیریت دارایی اعمال می‌کند: یک دارایی پرخطر و یک دارایی بدون ریسک، دو دارایی پرخطر و سه دارایی پرخطر. مسئله این است که به صورت دینامیک وجوه را به دارایی‌های موجود تخصیص دهید تا یک هدف سود یا بازده ریسک‌اصلاح‌شده (نسبت شارپ) را به حداکثر برسانید.

فصل 9

فصل نهم کتاب Reinforcement Learning for Finance در مورد انحلال بهینه یک موقعیت بزرگ در یک سهم است. با توجه به یک گریز از ریسک مشخص، هزینه‌های اجرای کلی باید به حداقل برسد. این مورد استفاده با موارد دیگر متفاوت است زیرا تمام اقدامات از طریق یک محدودیت اضافی به هم متصل هستند. این فصل همچنین یک الگوریتم RL اضافی به شکل یک پیاده‌سازی بازیگر-منتقد را معرفی می‌کند.

فصل 10

فصل آخر کتاب Reinforcement Learning for Finance برخی از نظرات پایانی را ارائه می‌دهد و چگونگی بهبود مثال‌های ارائه شده در کتاب را ترسیم می‌کند.

درباره کد

در این کتاب کد این کتاب در درجه اول با استفاده از TensorFlow 2.13 توسعه یافته است. خوانندگان می‌توانند کد را مستقیماً روی پلتفرم Quant The Python Quants بدون نیاز به نصب اضافی اجرا کنند – فقط یک ثبت‌نام رایگان لازم است.

این سکو به خوانندگان اجازه می‌دهد تا بدون زحمت کد را اجرا کنند و نتایج را همانطور که در کتاب ارائه شده است، بازتولید کنند. کد همچنین برای دانلود برای اجرای محلی در دسترس است. به‌روزرسانی‌های آینده، مانند پشتیبانی از نسخه‌های جدیدتر TensorFlow، برنامه‌ریزی شده است. علاوه بر این، پلتفرم Quant دسترسی به یک انجمن کاربری را ارائه می‌دهد که در آن خوانندگان می‌توانند سوالات خود را بپرسند و در مورد تمام موضوعات مرتبط با کتاب پشتیبانی دریافت کنند.