کتاب AI Systems Performance Engineering

کتاب AI Systems Performance Engineering: Optimizing Model Training and Inference Workloads with GPUs, CUDA, and PyTorch 1st Edition (مهندسی عملکرد سامانه‌های هوش مصنوعی: بهینه‌سازی بارهای کاری آموزش و استنتاج مدل با استفاده از GPUها، CUDA و PyTorch — ویرایش اول) راهنمایی جامع برای درک، تحلیل و بهینه‌سازی کارایی مدل‌های یادگیری عمیق در مراحل آموزش و استنتاج است. نویسنده با تمرکز بر سخت‌افزارهای مدرن به‌ویژه GPUها و ابزارهای مرتبط مانند CUDA و PyTorch، توضیح می‌دهد که چگونه می‌توان از منابع محاسباتی بیشترین بهره را گرفت. 

در ادامه مقدمه‌ای از کتاب AI Systems Performance Engineering را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب AI Systems Performance Engineering:

در خیابان‌های پویای سان‌فرانسیسکو، جایی که نوآوری به‌اندازهٔ ترافیک خودروهای خودران در بزرگراه 101 آمریکا عادی است، خود را در میان دنیایی شگفت‌انگیز از هوش مصنوعی می‌یابیم. پیشرفت‌های سریع در هوش مصنوعی در حال بازتعریف زندگی روزمرهٔ ما در همهٔ جنبه‌ها هستند. طی ۲۰ سال گذشته، موتورهای پیشنهاددهنده در دههٔ ۲۰۰۰، دستیارهای هوشمند در دههٔ ۲۰۱۰، و خودروهای کاملاً خودران در دههٔ ۲۰۲۰ را تجربه کرده‌ایم. دههٔ ۲۰۳۰ حتی هیجان‌انگیزتر خواهد بود، زیرا هوش مصنوعی با سرعتی باورنکردنی و با تأثیر اجتماعی عظیم در حال پیشروی است.

سفر شخصی من به دنیای پرشتاب مهندسی عملکرد سامانه‌های هوش مصنوعی با کنجکاوی‌ برای فهم تعادل ظریف و هم‌طراحی میان سخت‌افزار پیشرفته، نرم‌افزار بسیار بهینه و الگوریتم‌های هوشمندی آغاز شد که چنین سامانه‌های پیچیده و کاربردهای اثرگذاری را قدرت می‌بخشند. این آگاهی مرا برانگیخت تا عمیقاً وارد قلمرو «مهندسی عملکرد هوش مصنوعی تمام‌پشته» شوم.

می‌خواستم بفهمم چگونه اجزایی مانند پردازنده‌ها، معماری‌های حافظه، اتصال‌های شبکه‌ای، سیستم‌عامل‌ها و چارچوب‌های نرم‌افزاری همگی هماهنگ با یکدیگر کار می‌کنند. پیچیدگی این تعامل‌ها چالش‌ها—و فرصت‌هایی—را ایجاد می‌کرد که اشتیاق مرا برای کاوش عمیق در این ترکیب منحصربه‌فرد از فناوری‌ها برانگیخت.

کتاب AI Systems Performance Engineering حاصل سال‌ها تجربه و کاوش‌های من به‌عنوان یک مهندس عملیاتی عملکرد ML و هوش مصنوعی است. من این کتاب را برای مهندسان، پژوهشگران، متخصصان و علاقه‌مندانی نوشته‌ام که مشتاق‌اند بنیان‌های عملکردی سامانه‌های هوش مصنوعی را در همهٔ سطوح درک کنند.

خوانندگان ممکن است در حال ساخت برنامه‌های هوش مصنوعی، بهینه‌سازی راهبردهای آموزش شبکه‌های عصبی، طراحی و مدیریت سرورهای استنتاج مقیاس‌پذیر باشند، یا صرفاً مجذوب سازوکارهای هوش مصنوعی مدرن باشند. به‌طور کلی، این کتاب بینش‌هایی ارائه می‌دهد که میان نظریه و عمل در حوزه‌های گوناگون پل می‌زند.

خوانندهٔ کتاب AI Systems Performance Engineering احتمالاً درکی پایه‌ای از شبکه‌های عصبی و آشنایی ابتدایی با پایتون و یادگیری ماشین دارد. بااین‌حال، حتی بدون این مبانی نیز یک خوانندهٔ کنجکاو می‌تواند روایت چندبُعدیِ هم‌طراحی عملکرد، مبتنی بر اصول نخست در حوزهٔ سخت‌افزار، نرم‌افزار و الگوریتم‌ها را دنبال کند.

قول می‌دهم که برای هر نوع خواننده‌ای چیزی در این کتاب وجود دارد—و تضمین می‌کنم که هر خواننده چند نکتهٔ تازه از این صفحات خواهد آموخت.

در طول فصل‌ها، تکامل معماری‌های سخت‌افزاری را بررسی می‌کنیم، به ظرافت‌های بهینه‌سازی نرم‌افزار می‌پردازیم و مطالعات موردی دنیای واقعی را مرور می‌کنیم که الگوها و بهترین شیوه‌های ساخت سامانه‌های هوش مصنوعی با کارایی بالا و هزینهٔ بهینه را برجسته می‌کنند. هر بخش طوری طراحی شده که بر بخش قبل بنا شود و همه‌چیز را از مفاهیم پایه تا کاربردهای پیشرفته پوشش دهد.

سرفصل‌های کتاب AI Systems Performance Engineering:

• Preface
• 1. Introduction and AI System Overview
• 2. AI System Hardware Overview
• 3. OS, Docker, and Kubernetes Tuning for GPU-Based Environments
• 4. Tuning Distributed Networking Communication
• 5. GPU-Based Storage I/O Optimizations
• 6. GPU Architecture, CUDA Programming, and Maximizing Occupancy
• 7. Profiling and Tuning GPU Memory Access Patterns
• 8. Occupancy Tuning, Warp Efficiency, and Instruction-Level Parallelism
• 9. Increasing CUDA Kernel Efficiency and Arithmetic Intensity
• 10. Intra-Kernel Pipelining, Warp Specialization, and Cooperative Thread Block Clusters
• 11. Inter-Kernel Pipelining, Synchronization, and CUDA Stream-Ordered Memory Allocations
• 12. Dynamic Scheduling, CUDA Graphs, and Device-Initiated Kernel Orchestration
• 13. Profiling, Tuning, and Scaling PyTorch
• 14. PyTorch Compiler, OpenAI Triton, and XLA Backends
• 15. Multinode Inference, Parallelism, Decoding, and Routing Optimizations
• 16. Profiling, Debugging, and Tuning Inference at Scale
• 17. Scaling Disaggregated Prefill and Decode for Inference
• 18. Advanced Prefill-Decode and KV Cache Tuning
• 19. Dynamic and Adaptive Inference Engine Optimizations
• 20. AI-Assisted Performance Optimizations and Scaling Toward Multimillion GPU Clusters
• Appendix. AI Systems Performance Checklist (175+ Items)
• Index
• About the Author

جهت دانلود کتاب AI Systems Performance Engineering می‌توانید پس از پرداخت، دریافت کنید.