کتاب Python Natural Language Processing Cookbook

پایتون به دلیل ابزارها و کتابخانه‌های گسترده خود برای تجزیه و تحلیل متن و استخراج داده‌های قابل استفاده توسط رایانه، پرکاربردترین زبان برای پردازش زبان طبیعی (NLP) است. این کتاب شما را از طریق طیف وسیعی از تکنیک‌های پردازش متن، از مبانی مانند تجزیه قسمت‌های گفتار تا موضوعات پیچیده مانند مدل‌سازی موضوعی، طبقه‌بندی متن و تجسم، راهنمایی می‌کند.

کتاب Python Natural Language Processing Cookbook با ارائه مروری بر NLP، دستور العمل‌هایی را برای تقسیم متن به جملات، ریشه یابی و لیمایی کردن، حذف واژگان توقف و برچسب‌گذاری قسمت‌های گفتار ارائه می‌کند تا به شما در آماده‌سازی داده‌های خود کمک کند.

سپس در مورد روش‌های استخراج و نمایش اطلاعات دستوری، مانند تجزیه وابستگی و حل آنفورا، یاد خواهید گرفت. روش‌های مختلفی را برای نمایش معناشناسی با استفاده از کیسه کلمات، TF-IDF، تعبیه کلمات و BERT کشف کنید و مهارت‌هایی را برای طبقه‌بندی متن با استفاده از کلمات کلیدی، SVM، LSTM و سایر تکنیک‌ها توسعه دهید.

با پیشرفت، همچنین خواهید دید که چگونه اطلاعات را از متن استخراج کنید، تکنیک‌های نظارت نشده و نظارت شده را برای مدل‌سازی موضوعی پیاده‌سازی کنید و مدل‌سازی موضوعی متون کوتاه، مانند توییت‌ها را انجام دهید. علاوه بر این، کتاب پوشش‌های بصری داده‌های متنی را نیز پوشش می‌دهد.

در نهایت، کتاب Python Natural Language Processing Cookbook مدل‌های مبتنی بر ترانسفورمر و نحوه استفاده از آن‌ها برای انجام مجموعه‌ای دیگر از وظایف جدید NLP را معرفی می‌کند. این مدل‌های مبتنی بر رمزگذار-رمزگشا مدل‌های مبتنی بر شبکه عصبی عمیق هستند و روی مجموعه داده‌های بزرگ متن آموزش داده شده‌اند.

این مدل‌ها در وظایف مختلف NLP عملکرد خوبی داشته‌اند یا از حالت هنر پیشی کرده‌اند. مدل‌های مولد مبتنی بر رمزگشا به ویژه جدید هستند و توانایی تولید متن بر اساس زمینه ارائه شده به آن‌ها را دارند.

برخی از این مدل‌ها دارای قابلیت‌های استدلالی هستند که در آن‌ها ساخته شده است. این مدل‌ها NLP را به عصر بعدی خواهند برد و آن را به بخشی از برنامه‌های کاربردی فناوری جریان اصلی تبدیل خواهند کرد.

در پایان کتاب Python Natural Language Processing Cookbook، مهارت‌هایی را برای استفاده از مجموعه‌ای قدرتمند از ابزارها برای پردازش متن توسعه خواهید داده است.

کتاب Python Natural Language Processing Cookbook برای چه کسانی است؟

دانشمندان داده، مهندسان یادگیری ماشین و توسعه‌دهندگان آشنا با برنامه‌نویسی پایه و مفاهیم علم داده می‌توانند از این کتاب بینش‌های عملی به دست آورند. این کتاب به عنوان یک آغازگر برای معرفی مفاهیم NLP و کاربردهای عملی آن‌ها عمل می‌کند.

نقش‌هایی که هدف این کتاب هستند عبارتند از:

• دانشمندان داده: به عنوان یک دانشمند داده، درک نحوه کار با متن را به دست خواهید آورد. دانش متوسط پایتون به شما کمک می‌کند تا بیشترین بهره را از این کتاب ببرید. اگر قبلاً یک متخصص NLP هستید، این کتاب به عنوان یک مرجع کد هنگام کار در پروژه‌های خود عمل خواهد کرد.
• مهندسان نرم‌افزار و معماران: توسعه‌دهندگانی که می‌خواهند در حوزه NLP قابلیت بسازند، با تمام کاربردهای بنیادی و پیشرفته NLP در پردازش متن آشنا خواهند شد. این به شما کمک می‌کند تا دانش خود را ارتقا دهید و خود را برای توسعه راه حل‌ها با استفاده از NLP آماده کنید.
• مدیران محصول: اگرچه این کتاب حاوی مثال‌های کد برای دستور العمل‌ها است، اما هر یک از این دستور العمل‌ها همراه با توضیحاتی در مورد اینکه چرا مراحل خاصی انجام می‌شود و خروجی نهایی برای آن مراحل چیست، همراه است. این آن را به یک منبع مفید برای مدیران محصول تبدیل می‌کند که می‌خواهند درک کنند با یک دستور العمل خاص NLP چه چیزی امکان‌پذیر است، که این امر به آن‌ها امکان می‌دهد راه‌حل‌های جدیدی را با استفاده از آن تصور کنند.

کتاب Python Natural Language Processing Cookbook چه موضوعاتی را پوشش می‌دهد؟

فصل 1، یادگیری اصول NLP، اصول اولیه NLP را معرفی می‌کند. دستور العمل‌های این فصل از کتاب Python Natural Language Processing Cookbook، مراحل اولیه پیش‌پردازش مورد نیاز برای کار بیشتر NLP را نشان می‌دهند. ما نشان می‌دهیم که چگونه متن را توکنیزه کنیم، یا آن را به جملات و کلمات تقسیم کنیم؛ به کلمات جداگانه قسمت‌های گفتار اختصاص دهید؛ آن‌ها را لیمایی کنید یا فرم‌های کانونی آن‌ها را دریافت کنید؛ و واژگان توقف را حذف کنید.

فصل 2، بازی با دستور زبان، نحوه دریافت اطلاعات دستوری از متن را نشان می‌دهد. این اطلاعات می‌تواند در تعیین روابط بین موجودات مختلف ذکر شده در متن مفید باشد. ما با نشان دادن نحوه تعیین مفرد یا جمع بودن یک اسم شروع می‌کنیم.

سپس نحوه دریافت تجزیه وابستگی را که روابط بین کلمات در یک جمله را نشان می‌دهد، نشان می‌دهیم. سپس نحوه دریافت بخش‌های اسم یا اسم‌های با کلمات وابسته خود، مانند صفات را نشان می‌دهیم. پس از آن، به تجزیه موضوعات و اشیاء یک جمله می‌پردازیم. در نهایت نحوه استفاده از یک تطبیقگر سبک عبارت منظم برای استخراج عبارات دستوری در یک جمله را نشان می‌دهیم.

فصل 3، نمایش متن – گرفتن معناشناسی، روش‌های مختلفی را برای نمایش متن برای پردازش بیشتر در مدل‌های NLP بررسی می‌کند. از آنجایی که رایانه‌ها نمی‌توانند مستقیماً با کلمات برخورد کنند، باید آن‌ها را به صورت برداری رمزگذاری کنیم.

برای نشان دادن اثربخشی روش‌های مختلف رمزگذاری، ابتدا یک طبقه‌بندی‌کننده ساده ایجاد می‌کنیم و سپس آن را با روش‌های رمزگذاری مختلف استفاده می‌کنیم. ما به روش‌های رمزگذاری زیر نگاه می‌کنیم: کیسه کلمات، مدل N-گرام، TF-IDF، تعبیه کلمات، BERT و تعبیه OpenAI. همچنین نحوه آموزش مدل کیسه کلمات خود را نشان می‌دهیم و نحوه ایجاد یک راه حل ساده تولید تقویت شده بازیابی (RAG) را نشان می‌دهیم.

فصل 4، طبقه‌بندی متون، روش‌های مختلف انجام طبقه‌بندی متن، یکی از رایج‌ترین وظایف NLP را نشان می‌دهد. ابتدا نحوه پیش‌پردازش مجموعه داده برای آماده‌سازی آن برای طبقه‌بندی را نشان می‌دهیم.

سپس طبقه‌بندی‌کننده‌های مختلفی را نشان می‌دهیم، از جمله یک طبقه‌بندی‌کننده مبتنی بر قاعده، یک طبقه‌بندی‌کننده نظارت نشده از طریق K-means، آموزش یک SVM برای طبقه‌بندی، آموزش یک مدل spaCy برای طبقه‌بندی متن و در نهایت، استفاده از مدل‌های OpenAI GPT برای طبقه‌بندی متون.

فصل 5، شروع با استخراج اطلاعات، نحوه استخراج اطلاعات از متن، یکی دیگر از وظایف بسیار مهم NLP را نشان می‌دهد. ما با استفاده از عبارات منظم برای استخراج اطلاعات ساده شروع می‌کنیم.

سپس نحوه استفاده از فاصله Levenshtein برای رسیدگی به غلط‌های املایی را بررسی می‌کنیم. سپس نحوه استخراج کلمات کلیدی مشخصه از متون مختلف را نشان می‌دهیم. ما نحوه استخراج موجودیت‌های نامگذاری شده با استفاده از spaCy و نحوه آموزش مدل NER سفارشی spaCy خود را بررسی می‌کنیم. در نهایت نحوه ریز‌تنظیم یک مدل BERT NER را نشان می‌دهیم.

فصل 6، مدل‌سازی موضوعی، نحوه تعیین موضوعات متن با استفاده از روش‌های مختلف نظارت نشده، از جمله LDA، تشخیص جامعه با تعبیه‌های BERT، خوشه‌بندی K-means و BERTopic را نشان می‌دهد. در نهایت، از مدل‌های موضوعی زمینه‌دار استفاده می‌کنیم که با مدل‌های چندزبانه و ورودی‌ها کار می‌کنند.

فصل 7، تجسم داده‌های متنی، بر استفاده از ابزارهای مختلف برای ایجاد تجسم‌های آموزنده از داده‌های متنی و پردازش تمرکز دارد. ما نمایش‌های گرافیکی تجزیه وابستگی، قسمت‌های گفتار و موجودیت‌های نامگذاری شده را ایجاد می‌کنیم. همچنین نمودار ماتریس سردرگمی و ابرهای کلمه را ایجاد می‌کنیم. در نهایت از pyLDAvis و BERTopic برای تجسم موضوعات در یک متن استفاده می‌کنیم.

فصل 8، ترانسفورمرها و کاربردهای آن‌ها، مقدمه‌ای بر ترانسفورمرها ارائه می‌دهد. این فصل از کتاب Python Natural Language Processing Cookbook، با نشان دادن نحوه تبدیل متن به فرمتی مناسب برای پردازش داخلی توسط یک مدل ترانسفورمر آغاز می‌شود.

سپس تکنیک‌هایی را برای طبقه‌بندی متن با استفاده از مدل‌های پیش‌آماده ترانسفورمر بررسی می‌کند. علاوه بر این، این فصل از کتاب Python Natural Language Processing Cookbook، به تولید متن با ترانسفورمرها می‌پردازد و نحوه تنظیم پارامترهای تولید برای تولید متن منسجم و طبیعی را توضیح می‌دهد. در نهایت، کاربرد ترانسفورمرها در ترجمه زبان را پوشش می‌دهد.

فصل 9، درک زبان طبیعی، تکنیک‌های NLP را پوشش می‌دهد که به استنباط اطلاعات موجود در یک قطعه متن کمک می‌کند. این فصل از کتاب Python Natural Language Processing Cookbook، با بحث در مورد پرسش و پاسخ در حوزه‌های باز و بسته آغاز می‌شود، سپس روش‌هایی برای پاسخگویی به سوالات از منابع سند با استفاده از رویکردهای استخراج کننده و انتزاعی ارائه می‌کند.

بخش‌های بعدی خلاصه‌سازی متن و استلزام جمله را پوشش می‌دهند. این فصل از کتاب Python Natural Language Processing Cookbook، با تکنیک‌های توضیح‌پذیری به پایان می‌رسد که نشان می‌دهند مدل‌ها چگونه تصمیمات طبقه‌بندی را می‌گیرند و چگونه قسمت‌های مختلف متن به برچسب‌های کلاس اختصاص داده شده کمک می‌کنند.

فصل 10، هوش مصنوعی مولد و مدل‌های بزرگ زبان، مدل‌های بزرگ زبان منبع باز (LLM) مانند Mistral و Llama را معرفی می‌کند و نحوه استفاده از درخواست‌ها برای تولید متن بر اساس الزامات ساده تعریف شده توسط انسان را نشان می‌دهد.

این فصل از کتاب Python Natural Language Processing Cookbook، همچنین تکنیک‌هایی را برای تولید کد پایتون و عبارات SQL از دستورالعمل‌های زبان طبیعی بررسی می‌کند.

در نهایت، روش‌هایی را برای استفاده از یک LLM منبع بسته پیچیده از OpenAI برای هماهنگ‌سازی عامل‌های وظیفه سفارشی ارائه می‌دهد. این عامل‌ها برای پاسخگویی به سوالات پیچیده که نیاز به جستجوی وب و محاسبات اولیه برای رسیدن به یک راه حل نهایی دارند، همکاری می‌کنند.