کتاب Bayesian Optimization in Action

کتاب Bayesian Optimization in Action (بهینه‌سازی بیزی در عمل) در 4 بخش مختلف در رابطه با بهینه‌سازی بیزی و کاربردهای آن شرح خواهد داد.

در ادامه مقدمه‌ای از کتاب Bayesian Optimization in Action را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب Bayesian Optimization in Action:

در پاییز 2019، من دانشجوی سال اول دکترا بودم که مطمئن نبودم برای تحقیقم روی چه مشکلی کار کنم. می‌دانستم که می‌خواهم روی هوش مصنوعی (AI) تمرکز کنم – چیزی جذاب در مورد خودکار کردن فرآیندهای تفکر با استفاده از رایانه وجود داشت – اما هوش مصنوعی یک زمینه عظیم است و من برای محدود کردن کارم به یک موضوع خاص مشکل داشتم.

همه آن عدم قطعیت زمانی از بین رفت که دوره‌ای با عنوان روش‌های بیزی برای یادگیری ماشین را گذراندم. در این مرحله، من در دوره کارشناسی با قضیه بیز برخوردهای کوتاهی داشتم، اما در اولین سخنرانی‌های این دوره بود که همه چیز شروع به کلیک کردن کرد! قضیه بیز روشی شهودی برای اندیشیدن به احتمالات ارائه می‌کند، و برای من، این یک مدل زیبا از باورهای انسانی است: هر یک از ما یک باور قبلی (درباره هر چیزی) داریم که با آن شروع می‌کنیم، که با مشاهده شواهد یا شواهد به روز می‌شود.

در مقابل آن قبلی، و نتیجه یک باور پسین است که هم قبل و هم داده را منعکس می‌کند. این واقعیت که قضیه بیز این روش زیبا برای حفظ باورها را به هوش مصنوعی می‌آورد و در بسیاری از مشکلات کاربرد دارد، برای من یک سیگنال قوی بود که یادگیری ماشین بیزی موضوعی است که ارزش پیگیری دارد.

زمانی که به سخنرانی در مورد بهینه‌سازی بیزی (BayesOpt) رسیدیم، ذهن من متشکل شد: تئوری بصری بود، برنامه‌های کاربردی متعدد بودند، و امکانات بسیار زیادی در مورد آنچه می‌توان ساخت وجود داشت. باز هم، چیزی ذاتی در من جذب خودکار کردن تفکر یا به طور خاصتر تصمیم گیری شد (و همچنان دارد) و BayesOpt جذابیت عالی بود. من خودم را به آزمایشگاه تحقیقاتی رومن گارنت، پروفسوری که درس را تدریس می‌کرد، رساندم و سفر BayesOpt من آغاز شد! با پرش به سال 2021، مدتی را صرف تحقیق و اجرای راه‌حل‌های BayesOpt کرده بودم و قدردانی من از BayesOpt بیشتر شد.

بیشتر بخوانید: کتاب Bayesian Optimization

من آن را به دوستان و همکاران توصیه می‌کنم تا مشکلات بهینه‌سازی دشوار را مدیریت کنند و قول می‌دهم که BayesOpt به خوبی کار خواهد کرد. فقط یک مشکل وجود داشت: منبع خوبی وجود نداشت که بتوانم به آن اشاره کنم. مقالات تحقیقاتی روی ریاضیات سنگین بودند، آموزش‌های آنلاین برای ارائه بینش قابل توجه بسیار کوتاه بودند، و آموزش‌های نرم افزار BayesOpt از هم گسسته بودند و روایت خوبی ارائه نمی‌دادند.

سپس، ایده‌ای به ذهن خطور کرد، به شکل نقل قول تونی موریسون، “اگر کتابی هست که می‌خواهید بخوانید، اما هنوز نوشته نشده است، پس باید آن را بنویسید.” چقدر درسته! این چشم‌انداز به دو دلیل مرا هیجان‌زده کرد: می‌توانستم کتابی در مورد چیزی نزدیک و عزیزم بنویسم، و نوشتن بدون شک به من کمک می‌کند تا بینش عمیق‌تری کسب کنم. من پیشنهادی را تنظیم کردم و با منینگ، ناشر کتاب‌های مورد علاقه‌ام با سبکی که مدنظرم بود، تماس گرفتم.

در نوامبر 2021، ویراستار خرید من، اندی والدرون، ایمیلی برای من ارسال کرد که اولین ارتباط منینگ بود. در دسامبر 2021، قراردادم را امضا کردم و شروع به نوشتن کردم، که بعداً به زمان بیشتری از آنچه در ابتدا فکر می‌کردم نیاز داشت (مطمئنم که در مورد هر کتابی وجود دارد). در آوریل 2023 این پیشگفتار را به عنوان یکی از آخرین مراحل قبل از انتشار نوشتم!

قبلاً برای آشنایی با بهینه‌سازی بیزی، باید به دنبال مقاله‌ها و آموزش‌های آنلاین در مستندات یک کتابخانه مربوطه بود که پراکنده هستند و به دلیل ماهیتشان عمیقاً وارد جزئیات نمی‌شوند.

می‌توانید به کتاب‌های درسی فنی نیز مراجعه کنید، اما معمولاً بسیار متراکم و سنگین هستند و اگر تمرین‌کننده‌ای هستید که می‌خواهید فوراً به زمین بخورید، چالش‌هایی را ایجاد می‌کند. کتاب Bayesian Optimization in Action با ارائه ترکیبی از بحث‌های عملی، ارجاع به مطالب عمیق‌تر برای خواننده علاقه‌مند و نمونه‌های کد آماده برای استفاده، این شکاف را پر می‌کند.

این کار با ساختن شهود برای اجزای بهینه‌سازی بیزی و سپس پیاده‌سازی آن‌ها در پایتون با استفاده از نرم‌افزارهای پیشرفته کار می‌کند. روح کتاب ارائه مقدمه‌ای قابل دسترس برای بهینه‌سازی بیزی مبتنی بر شهودهای سطح بالا از ریاضیات و احتمالات است. علاوه بر این، خواننده علاقه‌مند می‌تواند متون فنی بیشتری را بیابد که در سراسر کتاب برای بررسی عمیق‌تر موضوع مورد علاقه به آن‌ها ارجاع داده شده است.

چه کسی باید کتاب Bayesian Optimization in Action را بخواند؟

دانشمندان داده و پزشکان ML که علاقه مند به تنظیم هایپرپارامتر، تست A/B، یا آزمایش و به طور کلی تصمیم‌گیری هستند، از این کتاب بهره خواهند برد.

محققان در زمینه‌های علمی مانند شیمی، علم مواد و فیزیک که با مشکلات بهینه‌سازی دشواری روبرو هستند نیز این کتاب را مفید خواهند یافت. در حالی که بیشتر دانش پیش زمینه لازم برای دنبال کردن محتوا پوشش داده می‌شود، مخاطب باید با مفاهیم رایج در ML، مانند داده‌های آموزشی، مدل های پیش بینی، توزیع های نرمال چند متغیره و موارد دیگر آشنا باشد.

نحوه سازماندهی کتاب Bayesian Optimization in Action: نقشه راه

کتاب شامل چهار بخش اصلی است. هر بخش شامل چندین فصل است که موضوع مربوطه را پوشش می‌دهد:

 فصل 1 بهینه‌سازی بیزی را با استفاده از موارد استفاده در دنیای واقعی معرفی می‌کند. همچنین بدون وارد شدن به جزئیات فنی، یک مثال بصری از اینکه چگونه بهینه‌سازی بیزی می‌تواند یافتن بهینه جهانی یک تابع گران قیمت را تسریع کند، شامل می‌شود.

بخش 1 کتاب Bayesian Optimization in Action فرآیندهای گاوسی را به عنوان مدل پیش‌بینی تابعی که می‌خواهیم بهینه کنیم، پوشش می‌دهد. تز اصلی این است که فرآیندهای گاوسی کمیت کالیبره شده عدم قطعیت را ارائه می‌دهند که در چارچوب بهینه‌سازی بیزی ما ضروری است. این بخش از دو فصل تشکیل شده است:

 فصل 2 نشان می‌دهد که فرآیندهای گاوسی یک راه حل طبیعی برای مشکل یادگیری مدل رگرسیون از برخی داده‌های مشاهده شده است. یک فرآیند گاوسی توزیعی بر روی توابع را تعریف می‌کند و با توجه به برخی داده‌های مشاهده‌شده، می‌تواند برای منعکس کردن باور ما در مورد مقدار تابع به‌روزرسانی شود.

 فصل 3 کتاب Bayesian Optimization in Action دو روش اصلی را که ما اطلاعات قبلی را در یک فرآیند گاوسی ترکیب می‌کنیم معرفی می‌کند: تابع میانگین و تابع کوواریانس. تابع میانگین روند کلی را مشخص می‌کند در حالی که تابع کوواریانس صاف بودن تابع را مشخص می‌کند.

بخش 2 خط مشی‌های بهینه‌سازی بیزی را برمی‌شمارد، که رویه‌های تصمیم‌گیری برای چگونگی ارزیابی عملکرد باید انجام شود تا بهینه جهانی تا حد امکان به طور مؤثر شناسایی شود. در حالی که سیاست‌های مختلف با اهداف متفاوتی برانگیخته می‌شوند، هدف همه آن‌ها ایجاد تعادل بین اکتشاف و بهره برداری است. این بخش کتاب Bayesian Optimization in Action از سه فصل تشکیل شده است:

 فصل 4 کتاب Bayesian Optimization in Action روشی طبیعی برای تصمیم گیری در مورد اینکه کدام ارزیابی عملکرد سودمندتر است را مورد بحث قرار می‌دهد: در نظر گرفتن بهبودی که از بهترین مقدار تابع فعلی حاصل می‌شود. به لطف باور مبتنی بر فرآیند گاوسی در مورد تابع، ما ممکن است این کمیت‌های مربوط به بهبود را به صورت بسته و ارزان محاسبه کنیم و دو سیاست بهینه‌سازی بیزی خاص را ممکن کنیم: احتمال بهبود و بهبود مورد انتظار.

 فصل 5 ارتباط بین بهینه‌سازی بیزی و دسته رایج دیگری از مسائل به نام راهزن چند مسلح را بررسی می‌کند. ما یاد می‌گیریم که چگونه سیاست‌های راهزن چند مسلح را در تنظیمات بهینه‌سازی بیزی منتقل کنیم و استراتژی‌های مربوطه را به دست آوریم: کران اطمینان بالا و نمونه‌برداری تامپسون.

 فصل 6 کتاب Bayesian Optimization in Action استراتژی را در نظر می‌گیرد که بیشترین عدم قطعیت را در باور ما در مورد بهینه جهانی تابع کاهش می‌دهد. این سیاست‌های مبتنی بر آنتروپی را تشکیل می‌دهد که از زیرشاخه‌ای از ریاضیات به نام نظریه اطلاعات استفاده می‌کند.

بخش 3 کتاب Bayesian Optimization in Action برخی از رایج ترین موارد استفاده را ارائه می‌دهد که به طور منظم در جریان کاری که تا کنون در کتاب توسعه یافته است مطابقت ندارند و نشان می‌دهد که چگونه بهینه‌سازی بیزی ممکن است برای مقابله با این وظایف بهینه‌سازی اصلاح شود:

 فصل 7 بهینه‌سازی دسته ای را معرفی می‌کند که در آن برای افزایش توان عملیاتی، اجازه می‌دهیم آزمایش‌ها به صورت موازی اجرا شوند. برای مثال، می‌توان چندین نمونه از یک شبکه عصبی بزرگ را به‌طور هم‌زمان روی خوشه‌ای از پردازنده‌های گرافیکی آموزش داد. این امر مستلزم بازگشت بیش از یک توصیه به طور همزمان توسط یک خط مشی بهینه‌سازی است.

 فصل 8 کتاب Bayesian Optimization in Action موارد استفاده حیاتی ایمنی را مورد بحث قرار می‌دهد، جایی که نمی‌توانیم فضای جستجو را آزادانه کشف کنیم، زیرا برخی ارزیابی‌های عملکرد ممکن است اثرات مضری داشته باشند. این باعث ایجاد انگیزه در محیطی می‌شود که در آن محدودیت‌هایی در مورد نحوه عملکرد تابع مورد نظر وجود دارد و نیاز ما به فاکتورگیری در این محدودیت‌ها در طراحی سیاست‌های بهینه‌سازی است.

 فصل 9 کتاب Bayesian Optimization in Action نشان می‌دهد که وقتی به چندین روش برای مشاهده مقادیر تابع در سطوح مختلف هزینه و دقت دسترسی داریم – که معمولاً به عنوان بهینه‌سازی بیزی چند وفاداری شناخته می‌شود – محاسبه هزینه‌های متغیر می‌تواند منجر به افزایش عملکرد بهینه‌سازی شود.

 فصل 10 کتاب Bayesian Optimization in Action مقایسه‌های دوتایی را پوشش می‌دهد، که نشان داده شده است ترجیحات فرد را با دقت بیشتری نسبت به ارزیابی‌ها یا رتبه‌بندی‌ها منعکس می‌کند، زیرا ساده‌تر هستند و بار شناختی سبک‌تری را روی برچسب‌گذار ایجاد می‌کنند. فصل 10 بهینه‌سازی بیزی را به این تنظیمات، ابتدا با استفاده از یک مدل فرآیند گاوسی خاص و سپس با اصلاح سیاست‌های موجود به منظور تناسب با این گردش کار مقایسه زوجی، گسترش می‌دهد.

 ممکن است هدف بهینه‌سازی چندین هدف بالقوه متناقض در یک زمان باشد. فصل 11 کتاب Bayesian Optimization in Action این مسئله بهینه‌سازی چندهدفه را مورد مطالعه قرار می‌دهد و نشان می‌دهد که چگونه بهینه‌سازی بیزی را می‌توان به این تنظیمات گسترش داد.

بخش 4 کتاب Bayesian Optimization in Action به انواع خاصی از مدل‌های فرآیند گاوسی می‌پردازد، که انعطاف‌پذیری و اثربخشی آن‌ها را در مدل‌سازی و ارائه پیش‌بینی‌های کالیبره‌شده با عدم قطعیت، حتی خارج از زمینه بهینه‌سازی بیزی نشان می‌دهد:

 در فصل 12 کتاب Bayesian Optimization in Action، می آموزیم که در برخی موارد، به دست آوردن جواب شکل بسته یک فرآیند گاوسی آموزش دیده غیرممکن است. با این حال، تقریب‌های با وفاداری بالا همچنان ممکن است با استفاده از استراتژی‌های تقریبی پیچیده ساخته شوند.

 فصل 13 نشان می‌دهد که به لطف اکوسیستم Torch، ترکیب شبکه‌های عصبی PyTorch با فرآیندهای GPyTorch Gaussian یک فرآیند یکپارچه است. این اجازه می‌دهد تا مدل‌های فرآیند گاوسی ما انعطاف‌پذیرتر و رساتر شوند. یک مبتدی از شش فصل اول کتاب Bayesian Optimization in Action سود زیادی خواهد برد. پزشکان باتجربه‌ای که به دنبال بهینه‌سازی بیزی در مورد استفاده خود هستند، ممکن است ارزشی را پیدا کنند

فصل‌های 7 تا 11 کتاب Bayesian Optimization in Action، که می‌تواند به طور مستقل و به هر ترتیبی خوانده شود. کاربران طولانی مدت فرآیندهای گاوسی به احتمال زیاد به دو فصل آخر علاقه مند خواهند شد، جایی که ما فرآیندهای گاوسی تخصصی را توسعه می‌دهیم.

سرفصل‌های کتاب Bayesian Optimization in Action:

• Bayesian Optimization in Action
• contents
• forewords
• preface
• acknowledgments
• about this book
• about the author
• about the cover illustration
• 1 Introduction to Bayesian optimization
• Part 1—Modeling with Gaussian processes
  • 2 Gaussian processes as distributions over functions
  • 3 Customizing a Gaussian process with the mean and covariance functions
• Part 2—Making decisions with Bayesian optimization
  • 4 Refining the best result with improvement-based policies
  • 5 Exploring the search space with bandit-style policies
  • 6 Using information theory with entropy-based policies
• Part 3—Extending Bayesian optimization to specialized settings
  • 7 Maximizing throughput with batch optimization
  • 8 Satisfying extra constraints with constrained optimization
  • 9 Balancing utility and cost with multifidelity optimization
  • 10 Learning from pairwise comparisons with preference optimization
  • 11 Optimizing multiple objectives at the same time
• Part 4—Special Gaussian process models
  • 12 Scaling Gaussian processes to large datasets
  • 13 Combining Gaussian processes with neural networks
• Appendix—Solutions to the exercises
• index

جهت دانلود کتاب Bayesian Optimization in Action می‌توانید پس از پرداخت، دریافت کنید.