کتاب Practical AI Security

کتاب Practical AI Security: A Hands-on Guide to Attacking, Defending, and Securing Modern AI Systems (امنیت عملی هوش مصنوعی: راهنمای عملی برای حمله، دفاع و تأمین امنیت سیستم‌های مدرن هوش مصنوعی) یک منبع کاربردی و گام‌به‌گام برای متخصصان امنیت، توسعه‌دهندگان و پژوهشگران حوزه AI است. کتاب Practical AI Security با رویکردی کاملاً عملی، ابتدا آسیب‌پذیری‌های رایج در سیستم‌های هوش مصنوعی مانند حملات استنتاج اعضای مدل، مسمومیت داده‌ها، فرار از مدل و حملات تزریق پرامپت در مدل‌های زبانی بزرگ را بررسی می‌کند.

سپس تکنیک‌های دفاعی و راهکارهای مقابله با هر نوع حمله را تشریح نموده و در نهایت اصول و بهترین شیوه‌ها برای طراحی، پیاده‌سازی و نگهداری سیستم‌های هوش مصنوعی امن در محیط‌های واقعی را ارائه می‌دهد.

در ادامه مقدمه‌ای از کتاب Practical AI Security را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب Practical AI Security:

این کتاب درباره چیست

کتاب Practical AI Security درباره استفاده از هوش مصنوعی برای انجام وظایف امنیتی نیست (هرچند در فصل ۷ به این موضوع اشاره می‌کنم). در عوض، درباره ایمن‌سازی هوش مصنوعی در برابر انواع جدیدی از حملات است که می‌توانند سیستم‌ها را مختل کنند، فریب دهند یا از آنها اطلاعات استخراج کنند. امنیت هوش مصنوعی در نقطه برخورد عجیبی قرار دارد: بخشی امنیت سایبری سنتی، بخشی ریسک بلندمدت هوش مصنوعی، بخشی چالش ایمنی کوتاه‌مدت هوش مصنوعی، و بخشی یادگیری ماشین رقابتی (مطالعه آکادمیک چگونگی دستکاری و فریب مدل‌ها).

این بدان معناست که کتاب Practical AI Security طیف وسیعی از موضوعات را پوشش می‌دهد، از جمله نحوه عملکرد مدل‌ها، نحوه استقرار سیستم‌های هوش مصنوعی در محیط تولید، نحوه مدل‌سازی تهدید برای هوش مصنوعی، حملات و دفاعیات رایج، تیم قرمز سیستم‌های هوش مصنوعی، ایمنی و ارزیابی‌های هوش مصنوعی، حاکمیت و مدیریت ریسک، و روندهای نوظهور. از آنجا که امنیت هوش مصنوعی از حوزه‌های متعددی نشأت می‌گیرد، بسیاری از سوالات و مشکلات تحقیقاتی که در اینجا می‌خوانید هنوز حل‌نشده هستند. (در واقع، امیدوارم که با تجهیز شما به این دانش، بتوانید به حل آنها کمک کنید!)

برای مثال، فقط چند سال پیش، رشته یادگیری ماشین رقابتی کاملاً آکادمیک در نظر گرفته می‌شد، و سپس ارتباطات ماشین‌به‌ماشین و عامل‌محور شروع به رایج‌تر شدن کرد و ناگهان پیامدهای عملی خود را نشان دادند. به همین دلیل است که من از پوشش دادن حوزه‌های «نظری» در اینجا ابایی ندارم. اگر چیزی در جعبه ابزار امنیت هوش مصنوعی شما جای دارد، در کتاب Practical AI Security جای دارد.

از سوی دیگر، اگرچه سیستم‌های هوش مصنوعی عامل‌محور و مدل‌های زبانی بزرگ در حال حاضر مد روز هستند، اما آنها تنها انواع ابزارهای هوش مصنوعی نیستند که در حال تولیدی شدن هستند، و تنها آنها نیستند که در آینده ایجاد خواهند شد. در حالی که من آنها را پوشش می‌دهم، بحث را به آنها محدود نمی‌کنم. گاهی این بدان معناست که گامی به عقب برداریم و برخی جزئیات را انتزاعی کنیم تا کتاب Practical AI Security بتواند به عنوان یک متن پایه‌ای واقعی عمل کند، نه متنی که بیش از حد به هدف متحرک امروزی گره خورده است.

همچنین، وقتی حملات و دفاعیات را پوشش می‌دهم، قصد ندارم تهدیدها یا کنترل‌های امنیت سایبری موجود را که اتفاقاً روی سیستم‌های هوش مصنوعی نیز کار می‌کنند، برشمرم. در عوض، بر روی مواردی تمرکز می‌کنم که در سیستم‌های هوش مصنوعی و مدل‌های یادگیری ماشین منحصر‌به‌فرد، جدید یا متفاوت هستند. این بدان معناست که ممکن است در برخی زمینه‌های آشکار مختصر صحبت کنم، اما فقط به این دلیل که اولویت را به آنچه متمایز است می‌دهم. در پایان هر فصل، منابع توصیه‌شده را خواهید یافت تا در صورت تمایل به کاوش عمیق‌تر در آن زمینه‌های مرتبط، به شما کمک کند.

کتاب Practical AI Security برای چه کسانی است؟

ممکن است به چند دلیل این کتاب را برداشته باشید. شاید قبلاً در هوش مصنوعی یا امنیت سایبری کار می‌کنید و می‌خواهید محل تلاقی آنها را بهتر درک کنید. شاید امیدوارید شغلی در امنیت هوش مصنوعی پیدا کنید. یا شاید به سادگی شنیده‌اید که هوش مصنوعی می‌تواند کمی غیرقابل اعتماد باشد و می‌خواهید بدانید چرا.

در حالی که فرض می‌کنم شما درک اولیه‌ای از ریاضیات، برنامه‌نویسی پایتون و اصول امنیت دارید، از شما انتظار ندارم در هیچ یک از این رشته‌ها متخصص باشید. هدف من این است که دانش گسترده و پایه‌ای در سراسر این حوزه به شما بدهم تا بتوانید تصمیم بگیرید می‌خواهید در کدام حوزه‌ها عمیق‌تر شوید.

به همین دلیل، مفاهیم را از اصول اولیه پوشش می‌دهم و نیازمندی‌های دانش قبلی را تا حد ممکن کم نگه می‌دارم. گاهی این به معنای ساخت دموهای کدنویسی از ابتدا به جای تکیه بر جعبه ابزارهای موجود است، تا بتوانید دقیقاً ببینید آنها چگونه کار می‌کنند، نه اینکه آنها را به عنوان یک جعبه سیاه در نظر بگیرید. در حالی که این همیشه با آنچه «در طبیعت» اتفاق می‌افتد مطابقت نخواهد داشت، شروع از این پایه به شما کمک می‌کند هر ابزاری را که بعداً با آن مواجه می‌شوید نقد و درک کنید.

بر اساس این مفروضات، کتاب Practical AI Security ممکن است برای شما مناسب باشد اگر:

• می‌خواهید پایه‌های محکمی در امنیت هوش مصنوعی بسازید. این کتاب برای آن طراحی شده که هم وسعت و هم عمق را در سراسر این حوزه به شما بدهد، و نه تنها یک ابزار یا نوع مدل، بلکه اصول زیربنایی، حملات، دفاعیات، و حتی ابزارهای سیاستگذاری که برای همه انواع سیستم‌های هوش مصنوعی اعمال می‌شوند را پوشش دهد. اگر به دنبال درک تصویر بزرگتر امنیت هوش مصنوعی با پایه فنی کافی برای ارتباط دادن آن با عمل در دنیای واقعی هستید، آن را در اینجا خواهید یافت.
• به چیزی فراتر از فقط تیم قرمز مدل‌های زبانی بزرگ کنجکاو هستید. تیم قرمز مهم است – و من فصلی را به آن اختصاص می‌دهم – اما امنیت هوش مصنوعی بزرگتر از هر رویکرد یا نوع مدل واحدی است. کتاب Practical AI Security به شما زمینه مفهومی گسترده و مثال‌های مورد نیاز برای درک نقاط ضعف در داده‌ها، مدل‌ها و زیرساخت‌ها را می‌دهد؛ اینکه چرا در عمل اهمیت دارند؛ و چگونه از آنها دفاع و مدیریت کنید.
• می‌خواهید وارد ریاضیات و کدهایی شوید که سیستم‌های هوش مصنوعی را آسیب‌پذیر می‌کنند. اگرچه ما از حداقل پیش‌نیازها شروع می‌کنیم، اما در تکنیک‌های آماری که زیربنای یادگیری ماشین هستند عمیق می‌شویم، زیرا بسیاری از نقاط ضعف از آنجا نشأت می‌گیرند. همچنین کد پایتونی که این حملات را ممکن می‌سازد را خواهید دید. اگر می‌خواهید فراتر از مقالات سطح بالای سیاستگذاری بروید و واقعاً بفهمید آسیب‌پذیری‌ها چگونه پدید می‌آیند (و خودتان آنها را آزمایش کنید)، کتاب Practical AI Security شما را راهنمایی خواهد کرد.

اگر قبلاً متخصص هستید، شما را تشویق می‌کنم که دانش خود را با جامعه گسترده‌تر به اشتراک بگذارید. این کتاب بر اساس پیشینه شخصی من شکل گرفته است، اما دیدگاه‌های ارزشمند بسیاری درباره امنیت هوش مصنوعی وجود دارد. اگر کتاب Practical AI Security برای شما نیست، شاید به این دلیل است که شما دیدگاه منحصر‌به‌فرد خود را برای ارائه دارید، و من دوست دارم آن را ببینم.

ساختار کتاب Practical AI Security

من می‌خواهم این کتاب راهنمای مرجع شما برای امنیت هوش مصنوعی باشد. بنابراین، هر فصل موضوع مهم متفاوتی را پوشش می‌دهد، از جمله دانش نظری زمینه‌ای، مثال‌های کد، و بینش‌هایی از تجربه من در این حوزه.

بخش اول: مبانی هوش مصنوعی و امنیت

این بخش از کتاب Practical AI Security اصطلاحات و مفاهیمی را معرفی می‌کند که در سراسر کتاب Practical AI Security به آنها تکیه خواهیم کرد. همچنین به بررسی پایه‌های چشم‌انداز تهدیدات هوش مصنوعی می‌پردازد، بنابراین حتی اگر قبلاً با هوش مصنوعی کار کرده‌اید، ارزش دارد که زمانی را برای تثبیت دانش خود در اینجا صرف کنید.

• فصل ۱: هوش مصنوعی چیست؟ پایه‌های کار را با تاریخچه هوش مصنوعی و یادگیری ماشین پی‌ریزی می‌کند و از مبانی ریاضی و نظری که زیربنای این حوزه هستند عبور می‌کند. ما بررسی خواهیم کرد که یک مدل در واقع چیست، از برخی مفاهیم پایه ریاضی عبور می‌کنیم، و کد ساده‌ای می‌نویسیم تا نشان دهیم مدل‌ها چگونه پیش‌بینی می‌کنند.
• فصل ۲: کار با مدل‌ها معماری‌های رایج مدل‌های سیستم‌های هوش مصنوعی و نحوه طراحی و آموزش این سیستم‌ها را بررسی می‌کند. این فصل همچنین تمام روش‌های اصلی را که باید ایمن کنیم پوشش می‌دهد: نه فقط مدل‌های زبانی و هوش مصنوعی مولد، بلکه سیستم‌های بینایی رایانه‌ای و مدل‌های پردازش سیگنال.
• فصل ۳: تهدیدات هوش مصنوعی مدل‌سازی تهدید هوش مصنوعی را با استفاده از چارچوب MAESTRO معرفی می‌کند. ما روندها و حوادث واقعی را که چشم‌انداز امنیت هوش مصنوعی را شکل می‌دهند بررسی می‌کنیم، سپس از طریق یک مثال مشخص کار می‌کنیم تا بتوانید ببینید چگونه ریسک‌ها را به طور سیستماتیک در عمل شناسایی و ارزیابی کنید.

بخش دوم: حمله و دفاع به هوش مصنوعی

این بخش از کتاب Practical AI Security بررسی می‌کند که چگونه می‌توان به سیستم‌های هوش مصنوعی حمله کرد، از مثال‌های ریاضی رقابتی تا آسیب‌پذیری‌های سطح سیستم، و همچنین طیف دفاعیات و کاهش‌دهنده‌هایی که می‌توان اعمال کرد.

• – فصل ۴: حملات و نقاط ضعف بر حمله به هوش مصنوعی تمرکز دارد. من توضیح می‌دهم که چگونه از بهینه‌سازی ریاضی برای ساخت حملات یادگیری ماشین رقابتی استفاده می‌شود، مراحل اجرای آنها را گام به گام پیش می‌روم، و شما را از طریق چندین تمرین عملی راهنمایی می‌کنم. همچنین روش‌های دیگری را که هوش مصنوعی می‌تواند در سطح سیستم به خطر بیفتد، از جمله آسیب‌پذیری‌های منحصر به فرد سیستم‌های عامل‌محور، بررسی خواهیم کرد.
• – فصل ۵: دفاعیات، کنترل‌ها و کاهش‌دهنده‌ها دفاعیات در برابر حملات یادگیری ماشین رقابتی را در سطح سیستم پوشش می‌دهد. شما یاد خواهید گرفت کدام دفاعیات در حال حاضر مؤثر هستند، کدام یک تمایل به شکست دارند، و چگونه می‌توان آنها را برای محافظت تقویت‌شده لایه‌بندی کرد.

بخش سوم: اکوسیستم امنیت هوش مصنوعی

در این بخش از کتاب Practical AI Security، از حملات و دفاعیات منفرد فاصله می‌گیریم تا اکوسیستم گسترده‌تر امنیت هوش مصنوعی را بررسی کنیم، از تیم قرمز گرفته تا هوش مصنوعی برای امنیت سایبری، نگرانی‌های ایمنی بلندمدت، حاکمیت و مقررات، و روندهای نوظهوری که آینده را شکل خواهند داد.

• فصل ۶: تیم قرمز هوش مصنوعی به دیدگاهی عملی‌تر و مبتنی بر مطالعه موردی در مورد تست امنیت تهاجمی سیستم‌های هوش مصنوعی تغییر می‌کند. ما بررسی خواهیم کرد که چگونه تیم قرمز هوش مصنوعی از تیم قرمز سایبری سنتی اقتباس می‌کند و با آن تفاوت دارد، و چگونه امروزه در صنعت در حال اجراست.
• فصل ۷: حمله و دفاع با هوش مصنوعی آنچه را که بیشتر مردم وقتی می‌گویم در امنیت هوش مصنوعی کار می‌کنم تصور می‌کنند پوشش می‌دهد: استفاده از هوش مصنوعی برای وظایف امنیت سایبری. در حالی که این موضوع به راحتی می‌توانست کتاب جداگانه‌ای را پر کند، در اینجا ما بر روی نقطه تلاقی ایمن‌سازی هوش مصنوعی و استفاده از هوش مصنوعی به عنوان یک ابزار امنیتی تمرکز خواهیم کرد، و به ویژه اینکه چگونه از هوش مصنوعی برای حمله و دفاع در برابر سایر سیستم‌های هوش مصنوعی استفاده می‌شود.
• فصل ۸: ایمنی هوش مصنوعی به ریسک‌هایی می‌پردازد که هوش مصنوعی هم در کوتاه‌مدت و هم در بلندمدت ایجاد می‌کند. ما به انواع ریسک‌های وجودی که مردم از هوش مصنوعی فوق‌هوشمند می‌ترسند، راه‌های ردیابی و اندازه‌گیری قابلیت‌های پیشرفته هوش مصنوعی، و روش‌های کنترلی که برای همسو نگه داشتن آنها با اهداف انسانی پیشنهاد می‌شود نگاه خواهیم کرد.
• فصل ۹: حاکمیت هوش مصنوعی به سیاست، قوانین و مدیریت ریسک می‌پردازد با هدف ارائه پیش‌زمینه لازم به خوانندگان فنی‌اندیش برای مشارکت در بحث‌های استراتژیک. ما بررسی خواهیم کرد که چگونه تصمیمات سیاستی پیاده‌سازی هوش مصنوعی را شکل می‌دهند و چگونه واقعیت‌های فنی به نوبه خود می‌توانند بر مقررات تأثیر بگذارند. همچنین روش‌های کیفی و کمی برای تحلیل ریسک را پوشش خواهیم داد.
• فصل ۱۰: بعدی برای امنیت هوش مصنوعی چیست؟ کتاب Practical AI Security را با نگاهی به روندهای نوظهور به پایان می‌برد، که برخی از آنها ممکن است تا زمان انتشار این کتاب ثابت شده باشند. من شما را تشویق می‌کنم که در مورد تکامل طبیعی جامعه با توجه به مسیرهای فنی فعلی و اینکه چه پیامدهای امنیتی را باید اکنون برای آنها آماده کنیم، فکر کنید.

در پایان هر فصل، منابع توصیه‌شده را خواهید یافت که به شما در کاوش بیشتر کمک می‌کند. همچنین می‌توانید مواد اضافی را در آدرس https://www.harriethacks.com پیدا کنید.

سرفصل‌های کتاب Practical AI Security:

• Cover Page
• Title Page
• Copyright Page
• About the Author
• About the Technical Reviewer
• BRIEF CONTENTS
• CONTENTS IN DETAIL
• FOREWORD
• ACKNOWLEDGMENTS
• INTRODUCTION
• PART I: AI AND SECURITY FUNDAMENTALS
  • 1 WHAT IS AI?
  • 2 WORKING WITH MODELS
  • 3 AI THREATS
• PART II: ATTACKING AND DEFENDING AI
  • 4 ATTACKS AND WEAKNESSES
  • 5 DEFENSES, CONTROLS, AND MITIGATIONS
• PART III: THE AI SECURITY ECOSYSTEM
  • 6 RED TEAMING AI
  • 7 ATTACKING AND DEFENDING WITH AI
  • 8 AI SAFETY
  • 9 AI GOVERNANCE
  • 10 WHAT’S NEXT FOR AI SECURITY?
• CONCLUSION: A NEW KIND OF HACKER
• FIGURE CREDITS
• INDEX

جهت دانلود کتاب Practical AI Security می‌توانید پس از پرداخت، دریافت کنید.