کتاب Time Series Forecasting Using Foundation Models

کتاب Time Series Forecasting Using Foundation Models (پیش‌بینی سری‌های زمانی با استفاده از مدل‌های بنیانی) به بررسی رویکردهای نوین پیش‌بینی داده‌های زمان‌محور با تکیه بر نسل جدید مدل‌های هوش مصنوعی ــ یعنی Foundation Models ــ می‌پردازد. نویسنده در کتاب Time Series Forecasting Using Foundation Models توضیح می‌دهد که چگونه مدل‌های بزرگ و ازپیش‌آموزش‌دیده می‌توانند جایگزین روش‌های سنتی مانند ARIMA یا شبکه‌های اختصاصی شوند و با یادگیری الگوهای پیچیده در حجم عظیمی از داده‌ها، دقت و پایداری پیش‌بینی را به‌طور چشمگیری افزایش دهند.

در ادامه مقدمه‌ای از کتاب Time Series Forecasting Using Foundation Models را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب Time Series Forecasting Using Foundation Models:

در اکتبر ۲۰۲۳، برای اولین بار از TimeGPT، یکی از مدل‌های بنیانی پیش‌بینی که در کتاب Time Series Forecasting Using Foundation Models بررسی می‌کنیم، استفاده کردم. پس از اجرای آن برای یک پروژه، متوجه شدم که پیش‌بینی‌های آن بهتر از مدل‌هایی بود که خودم با دقت ساخته و روی داده‌هایم تنظیم کرده بودم.

آن زمان بود که فهمیدم مدل‌های بزرگ زمانی قرار است حوزه پیش‌بینی سری‌های زمانی را متحول کنند. یک مدل از پیش‌آموزش‌دیده نه تنها بهتر از مدل‌های خودم عمل می‌کرد، بلکه بسیار سریع‌تر و راحت‌تر نیز بود. این همان وعده نهایی مدل‌های بنیانی است: یک مدل واحد به شما امکان می‌دهد عملکرد پیش‌بینی پیشرفته را بدون دردسر آموزش از صفر یا نگهداری چند مدل برای هر مورد استفاده، ارائه دهید.

از آن زمان، مدل‌های زیادی پیشنهاد و توسعه یافته‌اند و تغییر بزرگی در جامعه علمی رخ داده است؛ اکنون تلاش زیادی صرف ساخت مدل‌های بنیانی پیشرفته‌تر پیش‌بینی می‌شود. همانطور که انتظار می‌رود متخصصان داده با مدل‌های زبان بزرگ (LLM) آشنا باشند، من پیش‌بینی می‌کنم که مدل‌های بزرگ زمانی نیز به فناوری ضروری برای فعالان این حوزه تبدیل شوند. بنابراین تصمیم گرفتم کتابی بنویسم تا خوانندگان را با این فناوری‌ها به‌روز کنم.

کتاب Time Series Forecasting Using Foundation Models به بررسی مهم‌ترین دستاوردهای مدل‌های بزرگ زمانی می‌پردازد. البته نمی‌تواند همه آنچه تاکنون انجام شده یا همه آنچه در آینده رخ خواهد داد را پوشش دهد، اما به شما امکان می‌دهد مدل‌های بزرگ کنونی را استفاده و بهینه کنید.

من آخرین اصلاحات روش‌های مورد بررسی در کتاب را گنجانده‌ام تا مطمئن شوم مطالب تا حد امکان به‌روز هستند. تمرکز کتاب بر کاربردی بودن و کار عملی با هر مدل است، به طوری که شما ابزارهای جدید را یاد بگیرید و آنها را به سناریوهای خود تطبیق دهید. در یک پروژه پایانی اختصاصی، مدل‌های بزرگ زمانی را با رویکردهای سنتی‌تر مقایسه و عملکرد آنها را ارزیابی می‌کنید.

من این فرصت را داشتم که به شرکت Nixtla بپیوندم و از سال ۲۰۲۴ روی TimeGPT کار کنم، که به من فرصت داد مدل‌های بنیانی دیگر را بررسی و با آنها به طور گسترده کار کنم و در موقعیت مناسبی برای نوشتن کتاب Time Series Forecasting Using Foundation Models قرار گرفتم. ارزیابی‌های من همچنان بی‌طرفانه باقی مانده است، همان‌طور که در سراسر فصل‌ها خواهید دید.

دربارهٔ کتاب Time Series Forecasting Using Foundation Models

این کتاب برای این نوشته شده که همه‌ی دانش لازم برای استفاده‌ی بهینه از مدل‌های بزرگ پیش‌بینی زمانی (Large Time Models) و سازگار کردن آن‌ها با مسئله‌های مخصوص به خودتان را در اختیار شما بگذارد. ابتدا معماری ترنسفورمر را بررسی می‌کنیم؛ معماری‌ای که همچنان موتور اصلی بیشتر مدل‌های فاندیشن در حوزه‌ی پیش‌بینی است.

سپس تلاش می‌کنیم یک مدل فاندیشن کوچک بسازیم تا با مفاهیمی مثل پیش‌تمرین (pretraining)، ریزتنظیم (fine-tuning) و یادگیری انتقالی (transfer learning) به‌صورت عملی کار کنیم. این تجربه کمک می‌کند بهتر چالش‌های ساخت یک مدل واقعاً فاندیشن برای پیش‌بینی را درک کنید.

در ادامه، مدل‌های فاندیشنِ مخصوص پیش‌بینی سری‌های زمانی را بررسی می‌کنیم؛ از TimeGPT تا TimesFM. بعد از آن با کاربرد مدل‌های زبانی بزرگ (LLMs) در پیش‌بینی آزمایش می‌کنیم. سازوکار داخلی هر روش و شیوه‌های پیش‌تمرین آن‌ها را توضیح می‌دهیم؛ عواملی که توانایی‌ها و کاربردهای بهینه‌ی هر مدل را تعیین می‌کنند. به این ترتیب، خواهید فهمید چه زمانی باید از کدام مدل استفاده کنید و چگونه به بهترین شکل از آن بهره ببرید.
در پایان، کتاب با یک آزمایش جمع‌بندی می‌شود که بر پایه‌ی تمام روش‌هایی است که در طول فصل‌ها با آن‌ها کار کرده‌ایم.

چه کسانی باید کتاب Time Series Forecasting Using Foundation Models را بخوانند؟

کتاب Time Series Forecasting Using Foundation Models برای افرادی نوشته شده است که تجربه‌ای در پیش‌بینی سری‌های زمانی با استفاده از Python دارند، دانش پایه‌ای از مفاهیم پیش‌بینی سری‌های زمانی دارند و می‌دانند چگونه مدل‌های پیش‌بینی را آموزش دهند. کتاب Time Series Forecasting Using Foundation Models فرض می‌کند که خواننده با مفاهیم پایه پیش‌بینی مانند فصل‌پذیری (seasonality)، روند (trend) و خودهمبستگی (autoregression) آشنا باشد. همچنین، انتظار می‌رود که خواننده با برخی مدل‌های آماری مانند ARIMA آشنایی داشته باشد، زیرا در آخرین فصل از این مدل برای مقایسه عملکرد مدل‌های سنتی و مدل‌های بنیانی استفاده می‌کنیم.

در پایان کتاب Time Series Forecasting Using Foundation Models، شما مهارت‌ها و دانش لازم برای به‌کارگیری مدل‌های بزرگ زمانی موجود در پروژه‌های خود را خواهید داشت و قادر خواهید بود مدل‌ها را با نیازها و سناریوهای خاص خود تطبیق داده و بهینه کنید.

چگونه این کتاب سازمان‌دهی شده است: نقشه‌راه

کتاب Time Series Forecasting Using Foundation Models در چهار بخش و ۱۰ فصل تنظیم شده است.
در بخش ۱، مفهوم مدل‌های فاندیشن را بررسی می‌کنیم و یک مدل فاندیشن کوچک می‌سازیم:

• فصل ۱ معماری ترنسفورمر را بررسی می‌کند؛ معماری‌ای که ستون فقرات بسیاری از مدل‌های بزرگ زمانی است که در سراسر کتاب از آن‌ها استفاده می‌کنیم. همچنین مزایا و معایب مدل‌های فاندیشن در پیش‌بینی را مطالعه می‌کنیم.

• فصل ۲ مراحل فنی و مفاهیم لازم برای ساخت یک مدل فاندیشن—از جمله پیش‌تمرین، یادگیری انتقالی و ریزتنظیم—را توضیح می‌دهد. سپس این مفاهیم را در یک آزمایش عملی با ساخت یک مدل کوچک زمانی به کار می‌گیریم.

در بخش ۲، مدل‌های فاندیشن ویژه‌ی پیش‌بینی سری‌های زمانی را بررسی می‌کنیم:

• فصل ۳ به TimeGPT می‌پردازد؛ یکی از نخستین مدل‌های فاندیشن در این حوزه. یاد می‌گیریم چگونه کار می‌کند، چگونه پیش‌تمرین شده، و چگونه برای پیش‌بینی از آن استفاده کنیم. همچنین مدل را ریزتنظیم می‌کنیم، ویژگی‌های برون‌زا اضافه می‌کنیم، و با استفاده از SHAP نمودارهای تبیینی می‌سازیم. در پایان، از آن برای تشخیص ناهنجاری هم استفاده می‌کنیم.

• فصل ۴ Lag-Llama را بررسی می‌کند؛ مدلی احتمالاتی که بیشتر برای پژوهش طراحی شده است. یاد می‌گیریم چگونه پارامترهایش بر عملکرد اثر می‌گذارند و چگونه آن را ریزتنظیم کنیم.

• فصل ۵ به Chronos می‌پردازد؛ چارچوبی که می‌تواند هر LLM را برای کارهای پیش‌بینی سازگار کند. پس از بررسی معماری و پروتکل پیش‌تمرین آن، یاد می‌گیریم چگونه به شکل بهینه از آن استفاده کنیم. همچنین ریزتنظیم و تشخیص ناهنجاری انجام می‌دهیم.

• فصل ۶ Moirai را بررسی می‌کند؛ مدلی که به‌طور بومی توانایی پردازش ویژگی‌های برون‌زا را دارد. با معماری آن آشنا می‌شویم و یاد می‌گیریم چگونه هم در حالت دارای کووارییت‌ها و هم بدون آن‌ها استنتاج انجام دهیم.

• فصل ۷ TimesFM را بررسی می‌کند؛ مدلی قطعی که برای پیش‌بینی نقطه‌ای (Point Forecasts) ایده‌آل است.

در بخش ۳، با LLMها در پیش‌بینی سری‌های زمانی آزمایش می‌کنیم، زیرا تکمیل جملات متنی شباهت مفهومی به پیش‌بینی عددی دارد:

• فصل ۸ کاربرد مدل‌های Flan-T5 و Llama در پیش‌بینی سری‌های زمانی را بررسی می‌کند. Flan-T5 را به‌صورت محلی اجرا می‌کنیم و به Llama از طریق API دسترسی می‌گیریم. یاد می‌گیریم چگونه LLMها را برای پیش‌بینی سازگار کنیم و از تکنیک‌هایی مانند few-shot و chain-of-thought برای هدایت مدل‌ها استفاده کنیم.

• فصل ۹ Time-LLM را معرفی می‌کند؛ مدلی که LLMها را برای پیش‌بینی زمانی بازبرنامه‌ریزی می‌کند. این مدل توانایی پیش‌بینی صفر-نمونه‌ای ندارد، اما در بسیاری موارد گزینه‌ی مناسب‌تری نسبت به استفاده‌ی مستقیم از LLMها است.

بخش ۴ شامل یک فصل است که نقش پروژه‌ی نهایی را دارد:

• فصل ۱۰ فرصتی عالی برای تثبیت آموخته‌ها و اجرای دانشتان در یک پروژه‌ی خودمحور فراهم می‌کند. یک راه‌حل پیشنهادی و تحلیل نتایج ارائه می‌کنم، اما هدف این است که خودتان آزمایش کنید و به نتایج شخصی برسید.

سرفصل‌های کتاب Time Series Forecasting Using Foundation Models:

• brief contents
• contents
• preface
• acknowledgements
• about this book
• about the author
• about the cover illustration
  • Part 1: The rise of foundation
• chapter 1: Understanding foundation models
• chapter 2: Building a foundation model
  • Part 2: Foundation models developed for forecasting
• chapter 3: Forecasting with TimeGPT
• chapter 4: Zero-shot probabilistic forecasting with Lag-Llama
• chapter 5: Learning the language of time with Chronos
• chapter 6: Moirai: A universal forecasting transformer
• chapter 7: Deterministic forecasting with TimesFM
  • Part 3: Using LLMs for time-series forecasting
• chapter 8 :Forecasting as a language task
• chapter 9 :Reprogramming an LLM for forecasting
  • Part 4: Capstone project
• chapter 10 :Capstone project: Forecasting daily visits to a blog

جهت دانلود کتاب Time Series Forecasting Using Foundation Models می‌توانید پس از پرداخت، دریافت کنید.