کتاب The Developer’s Playbook for Large Language Model Security

کتاب The Developer’s Playbook for Large Language Model Security: Building Secure AI Applications (مجموغه تاکتیک‌های توسعه‌دهنده برای امنیت مدل زبان بزرگ: ایجاد برنامه‌های هوش مصنوعی امن) با خرد جمعی به دست آمده از ایجاد فهرست 10 برتر OWASP برای LLM – شاهکاری که توسط بیش از 400 متخصص صنعت انجام شد – راهنمایی های واقعی و استراتژی‌های عملی را برای کمک به توسعه‌دهندگان و تیم‌های امنیتی ارائه می‌دهد تا با واقعیت‌های برنامه‌های LLM دست و پنجه نرم کنند.

در ادامه مقدمه‌ای از کتاب The Developer’s Playbook for Large Language Model Security را از زبان نویسنده شرح خواهیم داد.

مقدمه‌ای بر کتاب The Developer’s Playbook for Large Language Model Security:

در همه جای دنیا، ما در حال سوار بر موج مدل زبان بزرگ (LLM) هستیم، و این هیجان‌انگیز است! وقتی ChatGPT وارد صحنه شد، فقط وارد کتاب رکورد نشد. آن‌ها را در هم شکست و تبدیل به سریعترین برنامه در تاریخ شد.

اکنون، گویی هر فروشنده نرم‌افزاری در این سیاره در حال رقابت برای تعبیه فناوری‌های مولد AI و LLM در پشته خود است و ما را به مناطق ناشناخته سوق می‌دهد. وزوز واقعی است، هیاهو موجه است، و امکانات نامحدود به نظر می‌رسد.

اما دست نگه دارید زیرا پیچ و تاب وجود دارد. همانطور که ما از این شگفتی‌های فناوری شگفت‌زده می‌شویم، داربست‌های امنیتی آن‌ها، به بیان ملایم، در حال پیشرفت است. حقیقت سخت؟

بسیاری از توسعه‌دهندگان بدون نقشه وارد این دوره جدید می‌شوند و عمدتاً از شن‌های روان و ایمنی در زیر سطح غافل هستند. اکنون تقریباً یک امر عادی است: هر هفته، ما با تیتر دیگری مواجه می‌شویم که در مورد یک سکسکه LLM فریاد می‌زند. پیامد‌های این حوادث فردی تا کنون متوسط ​​بوده است، اما اشتباه نکنید – ما در حال معاشقه با فاجعه هستیم.

خطرات فقط فرضی نیستند؛ آن‌ها به همان اندازه واقعی هستند و ساعت در حال حرکت است. بدون غواصی عمیق در آب‌های تیره خطرات امنیتی LLM و نحوه هدایت آن‌ها، ما فقط در معرض خطر اشکالات جزئی نیستیم. ما در انتظار فجایع بزرگ هستیم. زمان آن فرا رسیده است که توسعه‌دهندگان خود را آماده کنند، مطلع شوند و از منحنی‌ها جلوتر باشند. سریع!

چه کسی باید این کتاب را بخواند؟

مخاطبان اصلی کتاب The Developer’s Playbook for Large Language Model Security تیم‌های توسعه هستند که در حال ساخت برنامه‌های کاربردی سفارشی هستند که فناوری‌های LLM را تعبیه می‌کنند. از طریق کار اخیرم در این زمینه، متوجه شدم که این تیم‌ها اغلب بزرگ هستند و اعضای آن‌ها دارای مجموعه‌ای از سوابق فوق‌العاده متنوع هستند.

این‌ها شامل توسعه‌دهندگان نرم‌افزار ماهر در فناوری‌های «برنامه وب» است که اولین گام‌های خود را با هوش مصنوعی برمی دارند. این تیم‌ها همچنین ممکن است متشکل از کارشناسان هوش مصنوعی باشند که برای اولین بار کاردستی خود را از دفتر کار بیرون آورده و در کانون توجه قرار می‌دهند، جایی که خطرات امنیتی بسیار متفاوت است. آن‌ها همچنین شامل متخصصان امنیت برنامه‌ها و متخصصان علوم داده می‌شوند.

فراتر از آن مخاطب اصلی، من آموخته‌ام که دیگران بسیاری از این اطلاعات را مفید یافته‌اند. این شامل تیم‌های گسترده درگیر در این پروژه‌ها می‌شود که می‌خواهند زیربنای فناوری‌ها را برای کمک به کاهش خطرات حیاتی اتخاذ این فناوری‌های جدید درک کنند. این‌ها شامل مدیران توسعه نرم‌افزار، افسران ارشد امنیت اطلاعات (CISOs)، مهندسان کیفیت و تیم‌های عملیات امنیتی می‌شود.

چرا این کتاب را نوشتم؟

من همیشه مجذوب هوش مصنوعی بودم. در سنین پیش از نوجوانی، نوشتن بازی‌های ویدیویی را در رایانه خانگی آتاری ۴۰۰ به یاد دارم. در حدود سال ۱۹۸۰، این دستگاه کوچک تنها ۸ کیلوبایت رم داشت. اما من هنوز هم موفق شدم یک کلون کامل از بازی Tron Lightcycles را روی آن دستگاه جمع کنم، با یک هوش مصنوعی ساده اما مؤثر برای رانندگی یکی از چرخه‌ها زمانی که شما در حالت تک نفره بازی می‌کردید.

در حرفه حرفه‌ای خود، با چندین پروژه مرتبط با هوش مصنوعی درگیر بوده‌ام. پس از دانشگاه، بهترین دوستم تام سانتوس و من یک شرکت نرم‌افزاری هوش مصنوعی را بر اساس چند هزار خط کد دست‌ساز C++ راه‌اندازی کردیم که مشکلات ظاهراً حل‌ناپذیری را با الگوریتم‌های ژنتیک حل می‌کرد. من بعداً با دوستانم Kedar Poduri و Ebenezer Schubert به ساختن یک سیستم یادگیری ماشینی در مقیاس بزرگ در Citrix کمک کردم. اما وقتی برای اولین بار ChatGPT را دیدم، میدانستم همه چیز تغییر کرده است.

وقتی برای اولین بار با LLM روبرو شدم، در شرکتی کار می‌کردم که نرم‌افزار امنیت سایبری می‌ساخت. کار من کمک به شرکت‌های بزرگ برای یافتن و ردیابی آسیب‌پذیری‌های نرم‌افزارشان بود. به سرعت مشخص شد که LLM‌ها آسیب‌پذیری‌های امنیتی منحصر به فرد و جدی را ارائه می‌دهند.

در طی چند ماه آینده، حرفه‌ام را مجدداً تغییر دادم تا پس از این اختلال بروم. من یک پروژه منبع باز محبوب در مورد امنیت LLM را شروع کردم که بعداً در مورد آن بیشتر خواهید شنید. من حتی شغلم را عوض کردم تا به Exabeam بپیوندم، شرکتی که در تقاطع هوش مصنوعی و امنیت سایبری کار می‌کند. وقتی یک ویراستار از اوریلی برای نوشتن کتابی در این زمینه به من مراجعه کرد، میدانستم که باید از فرصت استفاده کنم.

پیمایش در این کتاب

کتاب The Developer’s Playbook for Large Language Model Security دارای ۱۲ فصل است که در سه بخش منطقی تقسیم شده است. من هر بخش و فصل را در اینجا ترسیم می‌کنم تا‌ایده‌ای از رویکرد به شما بدهم و بنابراین می‌دانید هنگام خواندن چه چیزی در راه است.

بخش ۱: گذاشتن پایه (فصل ۱-۳)

فصل‌های ابتدایی کتاب The Developer’s Playbook for Large Language Model Security، زمینه را برای درک وضعیت امنیتی برنامه‌های کاربردی مبتنی بر LLM ایجاد می‌کند. آن‌ها باید زمینه‌ای را در اختیار شما قرار دهند که بتوانید با اطمینان مشکلاتی را که در توسعه برنامه‌ها با استفاده از LLM با آن مواجه است باز کنید:

فصل ۱، «Chatbots Breaking Bad»، یک مطالعه موردی در دنیای واقعی را بررسی می‌کند که طی آن هکر‌های آماتور یک پروژه گران‌قیمت و‌امیدوارکننده چت بات یکی از بزرگترین شرکت‌های نرم‌افزاری جهان را نابود کردند. این زمینه را برای نبرد‌های آینده شما در این عرصه فراهم می‌کند.

فصل ۲، «۱۰ برنامه برتر OWASP برای برنامه‌های LLM»، پروژه‌ای را معرفی می‌کند که در سال ۲۰۲۳ تأسیس کردم و هدف آن شناسایی و رسیدگی به چالش‌های امنیتی منحصربه‌فرد ناشی از LLM است. دانش به دست آمده از کار روی آن به طور مستقیم به نوشتن این کتاب منجر شد.

فصل ۳، «معماری‌ها و مرز‌های اعتماد»، ساختار برنامه‌های کاربردی با استفاده از LLM را بررسی می‌کند و بر اهمیت کنترل جریان‌های مختلف داده در برنامه تأکید می‌کند.

بخش ۲: خطرات، آسیب‌پذیری‌ها و اقدامات اصلاحی (فصل ۴-۹)

در این فصل‌ها، حوزه‌های خطر مهمی را که هنگام توسعه برنامه‌های LLM با آن مواجه هستید، بررسی می‌کنیم. این خطرات شامل مسائل مربوط به طعم‌های آشنا برای هر متخصص امنیتی برنامه‌ای مانند حملات تزریق، نشت اطلاعات حساس و ریسک زنجیره تأمین نرم‌افزار است. همچنین با دسته‌هایی از آسیب‌پذیری‌ها آشنا می‌شوید که برای علاقه‌مندان به یادگیری ماشینی شناخته شده‌اند، اما در توسعه وب کمتر آشنا هستند، مانند آموزش مسمومیت داده‌ها.

در طول مسیر، شما همچنین در مورد نگرانی‌های امنیتی و ایمنی کاملاً جدیدی که این سیستم‌های هوش مصنوعی مولد جدید را گرفتار می‌کنند، مانند توهم، اتکای بیش از حد و عاملیت بیش از حد آشنا خواهید شد. من شما را از طریق مطالعات موردی در دنیای واقعی راهنمایی می‌کنم تا به شما در درک خطرات و پیامد‌ها کمک کنم و در مورد نحوه پیشگیری یا کاهش این خطرات به صورت موردی به شما توصیه کنم:

فصل ۴، «تزریق فوری»، بررسی می‌کند که چگونه مهاجمان می‌توانند LLM‌ها را با ایجاد ورودی‌های خاصی دستکاری کنند که باعث می‌شود آن‌ها اقدامات ناخواسته انجام دهند.

فصل ۵، «آیا LLM شما می‌تواند خیلی زیاد بداند؟ »، به خطرات نشت اطلاعات حساس می‌پردازد و نشان می‌دهد که چگونه LLM‌ها می‌توانند به‌طور ناخواسته داده‌هایی را که در آن آموزش دیده‌اند در معرض دید قرار دهند و چگونه از این آسیب‌پذیری محافظت کنند.

فصل ۶، «آیا مدل‌های زبانی رویای گوسفند برقی را می‌بینند؟ »، پدیده منحصربه‌فرد «توهمات» را در LLM‌ها بررسی می‌کند – مواردی که مدل‌ها اطلاعات نادرست یا گمراه‌کننده تولید می‌کنند.

فصل ۷، «به هیچ‌کس اعتماد نکنید»، بر اصل اعتماد صفر تمرکز دارد، و اهمیت عدم استفاده از خروجی‌ها را توضیح می‌دهد و اطمینان حاصل می‌کند که فرآیند‌های اعتبارسنجی دقیق برای رسیدگی به خروجی‌های LLM وجود دارد.

فصل ۸، «کیف پول خود را گم نکنید»، به خطرات اقتصادی استفاده از فناوری‌های LLM می‌پردازد، با تمرکز بر انکار سرویس (DoS)، انکار کیف پول (DoW)، و حملات شبیه‌سازی مدل. این تهدید‌ها از آسیب‌پذیری‌های مشابه برای تحمیل بار مالی، اختلال در خدمات یا سرقت مالکیت معنوی سوء استفاده می‌کنند.

فصل ۹، «ضعیف‌ترین پیوند را بیابید»، آسیب‌پذیری‌های زنجیره تأمین نرم‌افزار و مراحل حیاتی مورد نیاز برای ایمن کردن آن از نقض‌های احتمالی را که می‌تواند کل برنامه را به خطر بیندازد، برجسته می‌کند.

با درک و پرداختن به این خطرات، توسعه‌دهندگان می‌توانند برنامه‌های خود را در برابر چشم‌انداز در حال تحول تهدیدات ایمن کنند.

بخش ۳: ایجاد یک فرآیند امنیتی و آماده‌سازی برای آینده (فصل ۱۰-۱۲)

فصل‌های بخش ۲ ابزار‌هایی را در اختیار شما قرار می‌دهند که برای درک و رسیدگی به تهدیدات فردی مختلفی که در این فضا می‌بینید، نیاز دارید. این بخش آخر درباره گردآوری همه چیز است:

در فصل ۱۰، «یادگیری از تاریخ آینده»، از چند حکایت علمی تخیلی معروف استفاده می‌کنم تا نشان دهم چگونه ضعف‌های متعدد و مسائل طراحی می‌توانند به هم بپیوندند تا فاجعه را به تصویر بکشند. با توضیح این مطالعات موردی آینده نگر، ‌امیدوارم به شما کمک کنم تا از وقوع چنین آینده‌ای جلوگیری کنید.

در فصل ۱۱، «به فرآیند اعتماد کنید»، به کار جدی ساختن شیوه‌های امنیتی LLM در کارخانه نرم‌افزارتان می‌پردازیم—بدون این، من فکر نمی‌کنم بتوانید با موفقیت این نوع نرم‌افزار را در مقیاس بزرگ ایمن کنید.

در نهایت، در فصل ۱۲ کتاب The Developer’s Playbook for Large Language Model Security، «چارچوبی عملی برای امنیت هوش مصنوعی مسئولانه»، خط سیر فناوری‌های LLM و AI را بررسی می‌کنیم تا ببینیم آن‌ها ما را به کجا می‌برند و پیامد‌های احتمالی آن بر الزامات امنیتی و ایمنی چیست.

من همچنین شما را با چارچوب مهندسی نرم‌افزار هوش مصنوعی مسئول (RAISE) آشنا خواهم کرد که به شما یک رویکرد ساده و مبتنی بر چک لیست می‌دهد تا مطمئن شوید که مهمترین ابزار‌ها و درس‌ها را برای ایمن نگه داشتن نرم‌افزار خود به کار می‌برید.

سرفصل‌های کتاب The Developer’s Playbook for Large Language Model Security:

• Preface
• 1. Chatbots Breaking Bad
• 2. The OWASP Top 10 for LLM Applications
• 3. Architectures and Trust Boundaries
• 4. Prompt Injection
• 5. Can Your LLM Know Too Much?
• 6. Do Language Models Dream of Electric Sheep?
• 7. Trust No One
• 8. Don’t Lose Your Wallet
• 9. Find the Weakest Link
• 10. Learning from Future History
• 11. Trust the Process
• 12. A Practical Framework for Responsible AI Security
• Index
• About the Author

جهت دانلود کتاب The Developer’s Playbook for Large Language Model Security می‌توانید پس از پرداخت، دریافت کنید.