کتاب AI Under Attack

کتاب AI Under Attack: A Practical Guide to Threats, Defenses, and Governance for AI Systems (هوش مصنوعی در معرض حمله: راهنمای عملی برای تهدیدها، دفاع‌ها و حکمرانی در سیستم‌های هوش مصنوعی) به عنوان یک راهنمای جامع و عملیاتی برای ایمن‌سازی سیستم‌های هوش مصنوعی در برابر طیف گسترده‌ای از تهدیدات سایبری مدرن تدوین شده است.

در ادامه مقدمه‌ای از کتاب AI Under Attack را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب AI Under Attack:

سیستم‌های هوش مصنوعی امروزه بخشی از گردش‌های کاری تولید، پشتیبانی مشتری، مهندسی نرم‌افزار، پشتیبانی تصمیم‌گیری، عملیات امنیتی و کارهای دانشی داخلی سازمان‌ها شده‌اند. این سیستم‌ها زبان طبیعی را می‌پذیرند، زمینه‌ی بیرونی را بازیابی می‌کنند، وضعیت را به خاطر می‌سپارند، ابزارها را فراخوانی می‌کنند و از طریق اختیار واگذارشده عمل می‌کنند. این ویژگی‌ها آنها را مفید ساخته است، اما در عین حال آنها را با برنامه‌های قطعی و جبری که بیشتر برنامه‌های امنیتی برای دفاع از آنها طراحی شده‌اند، تفاوت اساسی می‌دهد.

کتاب AI Under Attack (هوش مصنوعی در معرض حمله) نقشه‌ای عملی از این تفاوت‌ها در اختیار متخصصان امنیت، مهندسان، معماران، تیم‌های ردتیم (حمله‌شبیه‌ساز) و رهبران حوزه‌ی حکمرانی قرار می‌دهد. این کتاب با مبانی امنیت هوش مصنوعی آغاز می‌شود و سپس به سراغ مسیرهای حمله‌ای می‌رود که در سیستم‌های واقعی اهمیت دارند: تزریق پرامپت، جیلبریک (شکستن محدودیت‌های مدل)، آلودگی حافظه، مسمومیت در بازیابی داده، بهره‌کشی از عامل‌های هوشمند (Agents)، به خطر افتادن زنجیره‌ی تأمین مدل، و استفاده‌ی ناایمن از ابزارها.

از آنجا، کتاب به سمت دفاع حرکت می‌کند: کنترل‌های زیرساختی، طراحی امن API، پرامپت‌نویسی تدافعی، گاردریل‌ها (محدودیت‌های ایمنی)، نظارت انسانی، مدیریت وابستگی‌ها، معماری عامل‌های مبتنی بر اعتمادصفر، عملیات امنیتی و برنامه‌های امنیتی پایدار برای هوش مصنوعی.

تمرکز اصلی کتاب بر شواهد عملی است. یک کنترل امنیتی زمانی اهمیت دارد که رفتار سیستم را تغییر دهد، رکوردی از خود به جا بگذارد، در برابر آزمون‌ها دوام آورد و برای افرادی که مالک ریسک هستند قابل توضیح باشد. هر فصل مکانیسم‌های فنی را به تصمیماتی پیوند می‌زند که متخصصان دفاعی وقتی هوش مصنوعی از مرحله‌ی نمونه‌ی اولیه به تولید می‌رسد، باید اتخاذ کنند.

مخاطب این کتاب AI Under Attack

این کتاب برای متخصصانی نوشته شده است که نیاز به تأمین امنیت سیستم‌های هوش مصنوعی دارند که در حال ساخت، خریداری، یکپارچه‌سازی یا استقرار هستند. این شامل مهندسان امنیت برنامه‌های کاربردی، مهندسان امنیت ابر، معماران امنیت، تیم‌های ردتیم، مهندسان هوش مصنوعی، مهندسان پلتفرم، رهبران حوزه‌ی حکمرانی و ریسک، تیم‌های امنیت محصول، پاسخ‌دهندگان به حوادث و رهبران فنی مسئول پذیرش هوش مصنوعی می‌شود.

برای استفاده از این کتاب نیازی به محقق یادگیری ماشین بودن ندارید، اما باید با مفاهیم پایه‌ی امنیتی مانند احراز هویت، مجوزدهی، مدلسازی تهدید، لاگ‌گیری، APIها، زیرساخت ابری و پاسخ به حوادث آشنایی داشته باشید. آشنایی با مدل‌های زبانی بزرگ، تولید افزوده‌شده با بازیابی (RAG) و عامل‌های هوشمند کمک‌کننده خواهد بود، اما کتاب خودِ رفتارهای امنیتی مختص هوش مصنوعی را در طول متن توضیح می‌دهد.

آنچه کتاب AI Under Attack پوشش می‌دهد:

• فصل ۱ – چرا امنیت هوش مصنوعی متفاوت است، توضیح می‌دهد که چرا سیستم‌های هوش مصنوعی به‌گونه‌ای متفاوت از نرم‌افزارهای سنتی شکست می‌خورند و چرا رفتار احتمالاتی، استدلال مدل و زمینه‌ی سطح‌سیستم، مسئله‌ی امنیتی را تغییر می‌دهند.
• فصل ۲ – مدلسازی تهدید در سیستم‌های هوش مصنوعی، نشان می‌دهد که چگونه دارایی‌های هوش مصنوعی، بازیگران، مرزهای اعتماد، جریان‌های داده، رفتار مدل و مسیرهای سوءاستفاده را پیش از استقرار سیستم نقشه‌برداری کنیم.
• فصل ۳ – سطح حمله‌ی هوش مصنوعی، مکان‌های واقعی را که مهاجمان می‌توانند به سیستم هوش مصنوعی دسترسی پیدا کنند، شامل پرامپت‌ها، فایل‌ها، منابع بازیابی، ابزارها، APIها، حافظه، هویت‌ها، لاگ‌ها و زنجیره‌های تأمین مدل، تجزیه و تحلیل می‌کند.
• فصل ۴ – مبانی دفاع در هوش مصنوعی، اصول کنترلی را معرفی می‌کند که بقیه‌ی کتاب را شکل می‌دهند: انزوا، اعتبارسنجی، نظارت، مرزهای اختیار، نظارت انسانی و شواهد.
• فصل ۵ – کالبدشکافی یک سیستم هوش مصنوعی، سیستم‌های مدرن هوش مصنوعی را به مدل‌ها، پرامپت‌ها، بازیابی، ابزارها، حافظه، محیط‌های اجرا، جریان‌های داده، هماهنگی و زیرساخت پشتیبان تجزیه می‌کند.
• فصل ۶ – تزریق پرامپت و جیلبریک، به تزریق مستقیم و غیرمستقیم پرامپت، استراتژی جیلبریک، استخراج پرامپت، مبهم‌سازی، آزمون رگرسیون و اعتبارسنجی تدافعی می‌پردازد.
• فصل ۷ – سوءاستفاده از حافظه، زمینه و وضعیت، حافظه‌ی نشست، ماندگاری بین‌نشستی، آلودگی بین‌کاربری، زمینه‌ی کهنه و پاک‌سازی حافظه را پوشش می‌دهد.
• فصل ۸ – حملات به سیستم‌های RAG، توضیح می‌دهد که چگونه تولید افزوده‌شده با بازیابی می‌تواند از طریق منابع مسموم، تکه‌تکه‌سازی نامناسب، حملات به تعبیه‌ها (Embedding)، دستکاری رتبه‌بندی، شکاف‌های مجوزدهی و زمینه‌ی تزریقی دچار شکست شود.
• فصل ۹ – معماری عامل‌های هوشمند و آسیب‌پذیری‌ها، سطح حمله‌ی عامل‌ها را در سراسر اهداف، برنامه‌ریزی، حافظه، ابزارها، هویت واگذارشده، هماهنگی و اثرات بیرونی نقشه‌برداری می‌کند.
• فصل ۱۰ – تکنیک‌های بهره‌کشی از عامل‌های هوشمند، نشان می‌دهد که مهاجمان چگونه رفتار عامل‌ها را از طریق حملات عاملِ گیج‌شده (Confused Deputy)، تزریق پارامتر، سوءاستفاده از ابزار، جایگزینی هدف و سرایت عامل‌به‌عامل زنجیره‌ای می‌کنند.
• فصل ۱۱ – حملات به داده‌های آموزش و یکپارچگی مدل، به خطر افتادن زنجیره‌ی تأمین مدل، مسمومیت، درپشتی‌ها (Backdoors)، استخراج مدل، ریسک تنظیم‌دقیق (Fine-tuning) و نظارت بر تولید را پوشش می‌دهد.
• فصل ۱۲ – ردتیم و ارزیابی در هوش مصنوعی، مطالب مربوط به حمله را به یک رویه‌ی آزمونِ قابل‌تکرار برای هوش مصنوعی تبدیل می‌کند، شامل تکنیک‌های دستی، آزمون تخاصمی خودکار، معیارها، گزارش‌دهی و رفع‌سازی.
• فصل ۱۳ – تأمین امنیت زیرساخت هوش مصنوعی، MLOps و محیط‌های اجرا، بر کنترل‌های زیرساختی پشت میزبانی مدل، انزوای GPU، مخازن ثبت (رجیستری‌ها)، پایپ‌لاین‌ها، مسیرهای شبکه، اسرار (Secrets) و هویت زمان اجرا تمرکز دارد.
• فصل ۱۴ – ساخت برنامه‌ها و APIهای امن هوش مصنوعی، مرز برنامه‌ای پیرامون مدل را شامل احراز هویت، مجوزدهی، اعتبارسنجی شِما، مدیریت خروجی، محدودیت نرخ، جداسازی مستأجران و پارامترهای ابزار پوشش می‌دهد.
• فصل ۱۵ – مهندسی پرامپت تدافعی، توضیح می‌دهد که پرامپت‌ها به‌عنوان یک کنترل امنیتی چه کاری می‌توانند و چه کاری نمی‌توانند انجام دهند، و چگونه به‌جای اعتماد صرف به متن پرامپت، اختیارِ زمینه را آزمون کنیم.
• فصل ۱۶ – گاردریل‌ها و نظارت انسانی، نشان می‌دهد که چگونه گاردریل‌ها، مسیرهای ارجاع، تصمیمات بازبینی و جریان‌های تأیید انسانی را طراحی کنیم تا شواهد ایجاد کنند نه نمایش.
• فصل ۱۷ – وابستگی‌های بیرونی، یکپارچگی زنجیره‌ی تأمین و ریسک چندمستأجری، شامل ارائه‌دهندگان مدل، بسته‌ها، مجموعه‌داده‌ها، ویژگی‌های SaaS، افزونه‌ها، اعتماد به وابستگی‌ها، جداسازی مستأجران و ابطال دسترسی می‌شود.
• فصل ۱۸ – تأمین امنیت عامل‌های هوش مصنوعی با معماری اعتمادصفر، هویت، کمترین دسترسی، انزوا، تأییدیه‌ها، لاگ‌گیری و ابطال را برای عامل‌هایی که می‌توانند در محیط‌های واقعی عمل کنند، به کار می‌گیرد.
• فصل ۱۹ – حکمرانی، ریسک و انطباق در هوش مصنوعی، حکمرانی هوش مصنوعی را به شواهد، مالکیت، سطوح ریسک، تعهدات، استثناها، نظارت، اختیار و تصمیمات ریسکِ باقیمانده پیوند می‌زند.
• فصل ۲۰ – مهندسی امنیت هوش مصنوعی، یافته‌های امنیتی هوش مصنوعی را به کار مهندسی تبدیل می‌کند که قابل مالکیت، اعتبارسنجی، بازگشت به عقب و پیشگیری از بازگشت باشد.
• فصل ۲۱ – عملیات امنیت هوش مصنوعی، شامل تشخیص، هشداردهی، شواهد حادثه، مهار، پاسخ و بازیابی برای سیستم‌های هوش مصنوعی است.
• فصل ۲۲ – ساختن برنامه‌های امنیتی پایدار برای هوش مصنوعی، توضیح می‌دهد که چگونه ضرب‌آهنگ عملیاتی برای امنیت هوش مصنوعی را بسازیم: ورودی، مالکیت، معیارها، انجمن‌های بازبینی، خط‌مشی، آموزش، استثناها و بهبود مستمر.
• فصل ۲۳ – آینده‌ی امنیت هوش مصنوعی، به فشارهای نزدیک‌آینده از سوی عامل‌های هوشمند، زنجیره‌های تأمین مدل، خودمختاری، مقررات، تطبیق‌پذیری مهاجمان و رویه‌های امنیتی که باید به جلو حمل شوند، می‌پردازد.

سرفصل‌های کتاب AI Under Attack:

• Preface
• Part 1: Foundations
  • Chapter 1: Why Al Security Is Different
  • Chapter 2: Threat Modeling Al Systems
  • Chapter 3: The Al Attack Surface
  • Chapter 4: Foundations of Al Defense
• Part 2: Attacks and Agent Behavior
  • Chapter 5: Anatomy of an Al System
  • Chapter 6: Prompt Injection and Jailbreaking
  • Chapter 7: Memory, Context, and State Abuse
  • Chapter 8: Attacks on RAG Systems
  • Chapter 9: Agent Architecture and Vulnerabilities
  • Chapter 10: Agent Exploitation Techniques
  • Chapter 11: Attacks on Training Data and Model Integrity
  • Chapter 12: Al Red Teaming and Evaluation
• Part 3: Engineering Defenses
  • Chapter 13: Securing Al Infrastructure, MLOps, and Runtime Environments
  • Chapter 14: Building Secure Al Applications and APIs
  • Chapter 15: Defensive Prompt Engineering
  • Chapter 16: Guardrails and Human Oversight
  • Chapter 17: External Dependencies, Supply Chain Integrity and Multi-Tenant Risk
  • Chapter 18: Securing Al Agents with Zero Trust Architecture
• Part 4: Programs, Operations, and Future State
  • Chapter 19: Al Governance, Risk, and Compliance
  • Chapter 20: Al Security Engineering
  • Chapter 21: Al Security Operations
  • Chapter 22: Building Sustainable Al Security Programs
  • Chapter 23: The Future of Al Security
  • Chapter 24: Unlock Your Exclusive Benefits
  • Chapter 25: Practitioner Toolkit
• Other Books You May Enjoy
• Index

جهت دانلود کتاب AI Under Attack می‌توانید پس از پرداخت، دریافت کنید.