کتاب Analytics Engineering with SQL and dbt: Building Meaningful Data Models at Scale (مهندسی تجزیه و تحلیل با SQL و dbt: ساخت مدل‌های داده معنادار در مقیاس) با تغییر از انبارهای داده به دریاچه‌های داده، داده‌ها اکنون قبل از تبدیل شدن در مخازن قرار می‌گیرند و مهندسان را قادر می‌سازد تا داده‌های خام را به مجموعه داده‌های تمیز و کاملاً تعریف شده مدل‌سازی کنند. dbt (ابزار ساخت داده) به شما کمک می‌کند تا داده‌ها را بیشتر ببرید.
در ادامه مقدمه‌ای از کتاب Analytics Engineering with SQL and dbt را از زبان نویسنده شرح خواهیم داد.
مقدمه‌ای بر کتاب Analytics Engineering with SQL and dbt:
در دنیای کسب و کار در حال تکامل، یک مفهوم فریبنده به نام مهندسی تجزیه و تحلیل ظهور کرده است. این به سرعت تبدیل به بحث شهر شد، مورد تقاضای مدیران، ارائه شده توسط شرکت‌های IT، و تحسین کاربرانی که از امکانات ارائه شده شگفت‌زده شدند. اما در میان این هیجان، بسیاری نمی‌دانستند مهندسی تجزیه و تحلیل چیست. آن‌ها فکر می‌کردند که این در مورد ایجاد خطوط لوله داده، طراحی تجسم‌های خیره‌کننده و استفاده از الگوریتم‌های پیشرفته است. آه چقدر اشتباه می‌کردند!
می‌توانید این دنیای خارق‌العاده مهندسی تحلیلی را به‌عنوان تلاقی بین محقق دقیق شرلوک هلمز، که جنبه تحلیلی را نشان می‌دهد، و مهندس نابغه تونی استارک، معروف به مرد آهنی، که جنبه مهندسی را نشان می‌دهد، تصور کنید.
فرض کنید که مهارت‌های حل مسأله قابل توجه شرلوک هلمز با فناوری‌های پیشرفته مرد آهنی ترکیب شده است. این ترکیب چیزی است که قدرت و پتانسیل واقعی فناوری تحلیلی را مشخص می‌کند.
اما مراقب باشید: اگر فکر می‌کردید مهندسی تجزیه و تحلیل محدود به خطوط لوله داده‌ها و تجسم‌ها است، تفکر قیاسی عمیقی را که شرلوک هلمز، به عنوان نماینده یک تحلیلگر داده یا تحلیلگر تجاری، به معادله می‌آورد، از دست داده‌اید. این زمینه جایی است که تحقیقات تحلیلی با تکنیک‌های یک مهندس نرم‌افزار یا مهندس داده، که توسط تونی استارک ارائه می‌شود، تلاقی می‌کند.
لحظه‌ای توقف کنید و به اهمیت داده‌ها در کسب و کار خود فکر کنید. چرا دنبالش می‌گردی؟ پاسخ در جستجوی دانش نهفته است. فن‌آوری تحلیلی برای تبدیل داده‌های خام به بینش‌های عملی استفاده می‌شود که به عنوان مبنایی برای تصمیم‌گیری‌های آگاهانه عمل می‌کند. این یک سیستم پشتیبانی قدرتمند است که حقایقی را ارائه می‌دهد که واقعیت کسب و کار شما را روشن می‌کند. با این حال، برای شما تصمیم نمی‌گیرد، بلکه اطلاعاتی را که برای موفقیت کسب و کارتان نیاز دارید در اختیار شما قرار می‌دهد.
قبل از ایجاد یک لباس چشمگیر Iron Man از فناوری‌های تحلیلی، از خرد شرلوک هلمز استقبال کنید. از مهارت‌های مشاهده‌ای مشتاق او برای شناسایی و درک هسته چالش‌های خود استفاده کنید. از تسلیم شدن به فریب تجسم‌ها و الگوریتم‌ها فقط به این دلیل که دیگران مجذوب آن‌ها شده‌اند خودداری کنید.
به یاد داشته باشید که مهندسی تجزیه و تحلیل چیزی فراتر از فناوری است: این یک ابزار مدیریتی است که تنها در صورتی موفق خواهد بود که با استراتژی‌ها و اهداف سازمان شما همسو باشد. اطمینان از همسویی شاخص‌های کلیدی عملکرد شما با واقعیت کسب و کار شما، تضمین می‌کند که نتایج تلاش‌های مهندسی تجزیه و تحلیل شما دقیق، تأثیرگذار بوده و شما را ناامید نخواهد کرد.
ماجراجویی بزرگ مهندسی تجزیه و تحلیل با ساخت خطوط لوله داده یا انتخاب الگوریتم‌های پیشرفته آغاز نمی‌شود. نه، دوست من، این کار با یک درون نگری کامل از شکاف‌های دانش سازمان شما شروع می‌شود. دریابید که چرا این دانش مهم است و چگونه می‌توان از آن برای هدایت کسب و کار شما به سمت موفقیت استفاده کرد. از قدرت تحول آفرین تجزیه و تحلیل به عنوان قطب نما استفاده کنید و راه موفقیت را در میان دریای عظیم داده‌ها نشان دهید.
در جستجوی مهندسی تحلیل، همیشه داستان شرلوک هلمز را به خاطر بسپارید. زمانی که یک دوچرخه ساده کافی است از ساخت هواپیمای عجیب خودداری کنید. اجازه دهید پیچیدگی مشکل و ظرایف زمینه‌ای آن، تلاش‌های شما را هدایت کند. به یاد داشته باشید که تجزیه و تحلیل فقط در مورد فناوری نیست. این یک چراغ مدیریت است، ابزاری ارزشمند که باید با هدف و دقت استفاده شود. بگذارید همراه همیشگی شما در مسیر موفقیت باشد.
چرا ما کتاب Analytics Engineering with SQL and dbt را نوشتیم؟
در عصر اطلاعات فراوان امروزی، غیرمعمول نیست که دانش، مفاهیم و تکنیک‌های حیاتی در میان رشد سریع فناوری و تعقیب بی‌وقفه نوآوری مبهم شوند. در طول این دگرگونی پویا، گاهی اوقات می‌توان به طور ناخواسته چندین مفهوم اساسی را نادیده گرفت. این نظارت ناشی از کاهش ارتباط آن‌ها نیست، بلکه از سرعت سریع پیشرفت ناشی می‌شود.
یکی از این مفاهیم اساسی که اغلب در کنار راه قرار می‌گیرد، مدل‌سازی داده‌ها در زمینه مدیریت داده است. شایان ذکر است که مدل‌سازی داده‌ها شامل رویکرد‌های مختلفی از جمله کیمبال، مدل‌سازی مفهومی، منطقی و فیزیکی و غیره است.
ما نیاز مبرم به تأکید بر اهمیت مدل‌سازی داده‌ها در این چشم‌انداز متنوع را تشخیص می‌دهیم، و این یکی از دلایل کلیدی ما برای ساخت کتاب Analytics Engineering with SQL and dbt است. در این صفحات، هدف ما روشن کردن پیچیدگی‌ها و ابعاد مختلف مدل‌سازی داده و چگونگی زیربنای آن زمینه گسترده‌تر مهندسی تحلیل است.
با گذشت زمان، اهمیت مدل‌سازی داده‌ها در تضمین یک سیستم مدیریت داده مستحکم به تدریج از آگاهی عمومی محو شده است. این به این دلیل نیست که منسوخ شده است، بلکه به دلیل تغییر تمرکز در صنعت است. واژه‌ها، ابزار‌ها و روش‌های جدیدی پدیدار شده‌اند و اصول بنیادی را کمتر اهمیت می‌دهند. انتقالی از شیوه‌های سنتی به راه‌حل‌های مدرن رخ داد که نوید سریع و کارآمدی را می‌داد و گاهی منجر به از دست دادن قدرت بنیادی می‌شد.
ظهور مهندسی تجزیه و تحلیل منجر به تجدید حیات شد. این فقط یک روند پر از کلمات فانتزی نبود، بلکه بازگشتی به اصول اولیه بود که اصول بخش هوش تجاری را منعکس می‌کرد. تفاوت در این است که ابزار‌ها، زیرساخت‌ها و تکنیک‌های مدرن اکنون برای اجرای کارآمدتر این اصول در دسترس هستند.
بنابراین، چرا ما نیاز به مستندسازی افکار خود را احساس کردیم؟ دو دلیل اصلی وجود دارد. قبل از هر چیز، تأکید بر ارزش پایدار و اهمیت مفاهیم به خوبی تثبیت شده مانند مدل‌سازی داده‌ها بسیار مهم است. در حالی که این روش‌ها ممکن است برای مدتی وجود داشته باشند، آن‌ها پایه‌ای قوی برای توسعه تکنیک‌های مدرن فراهم می‌کنند.
قصد دوم ما تأکید بر این است که مهندسی تجزیه و تحلیل یک نهاد مستقل نیست، بلکه یک پیشرفت طبیعی از میراث هوش تجاری است. با ادغام این دو، سازمان‌ها می‌توانند زنجیره ارزش داده‌ای انعطاف‌پذیرتر بسازند و اطمینان حاصل کنند که داده‌های آن‌ها نه تنها گسترده، بلکه قابل اجرا هستند و در نهایت کاربرد آن را افزایش می‌دهند.
کتاب Analytics Engineering with SQL and dbt فقط یک سفر احساسی به خط حافظه یا تفسیری بر زمان حال نیست. طرحی برای آینده است. هدف ما کمک به سازمان‌ها برای بازنگری مجدد پایه‌های خود، قدردانی از مزایای فناوری‌های قدیمی و جدید و ادغام آن‌ها برای یک رویکرد جامع مدیریت داده است.
ما به جزئیات مدل‌سازی و تبدیل داده‌ها می‌پردازیم، اهمیت آن را توضیح می‌دهیم و نحوه تعامل آن با ابزار‌های مهندسی تحلیل مدرن را بررسی می‌کنیم. هدف ما این است که به خوانندگان خود درک کاملی ارائه دهیم و آن‌ها را قادر به تقویت فرآیند‌های مدیریت داده خود و استفاده از پتانسیل کامل داده‌های خود کنیم.
کتاب Analytics Engineering with SQL and dbt برای چه کسی است؟
دانلود کتاب Analytics Engineering with SQL and dbt برای حرفه‌ای‌ها، دانشجویان و علاقه‌مندانی که با دنیای پیچیده مدیریت داده‌ها و تجزیه و تحلیل سروکار دارند طراحی شده است. چه شما یک کهنه کار با تجربه باشید که اصول اولیه مدل‌سازی داده را به یاد می‌آورد یا یک تحلیلگر مشتاق به درک تحول از هوش تجاری به مهندسی تحلیل معاصر، داستان سرایی ما وضوح و جهت را تضمین می‌کند.
بیشتر بخوانید: کتاب Data Analytics with SAS
سازمان‌هایی که به دنبال تقویت فرآیند‌های داده خود هستند، ارزش بسیار زیادی را در ترکیب اصول به خوبی اثبات شده و ابزار مدرن مورد بحث در کتاب Analytics Engineering with SQL and dbt کشف خواهند کرد. به طور خلاصه، اگر می‌خواهید با ترکیب نقاط قوت گذشته با نوآوری‌های حال، از داده‌های خود نهایت استفاده را ببرید، این کتاب شما را راهنمایی می‌کند.
کتاب Analytics Engineering with SQL and dbt چگونه سازماندهی شده است؟
ما کتاب Analytics Engineering with SQL and dbt را در شش فصل تنظیم کرده‌ایم:
فصل ۱، «مهندسی تجزیه و تحلیل»
این فصل از کتاب Analytics Engineering with SQL and dbt سیر تکامل مدیریت داده را از سیستم‌های مبتنی بر SQL سنتی تا ابزار‌های نوآورانه‌ای مانند Apache Airflow و dbt ردیابی می‌کند که هر کدام نحوه مدیریت و مشاهده داده‌ها را تغییر می‌دهند. نقش مهندس تجزیه و تحلیل، مهندسی داده و تجزیه و تحلیل را پیوند می‌دهد و تضمین می‌کند که بینش ما قابل اعتماد و قابل اجرا است.
با وجود تغییرات در ابزار‌ها و نقش‌ها، اهمیت و ارزش داده‌ها همچنان در درجه اول اهمیت قرار دارد. با این وجود، چالش‌هایی مانند کیفیت داده‌ها و ذخیره‌سازی کارآمد و همچنین بهینه‌سازی منابع محاسباتی برای کار‌هایی مانند متعادل‌سازی بار در پلت‌فرم‌هایی مانند Redshift یا طراحی مشاغل کارآمد با انبار‌هایی با اندازه مناسب در Snowflake باقی می‌مانند. مدل‌سازی داده، که شامل ساختاردهی داده‌ها برای انعکاس سناریو‌های دنیای واقعی است، هسته اصلی این راه‌حل‌ها است.
فصل ۲، «مدل‌سازی داده برای تجزیه و تحلیل»
این فصل از کتاب Analytics Engineering with SQL and dbt به نقش حیاتی مدل‌سازی داده‌ها در چشم‌انداز تحلیل محور امروزی می‌پردازد. ما بررسی خواهیم کرد که چگونه به ساختاردهی داده‌ها برای تجزیه و تحلیل کارآمد کمک می‌کند و اهمیت عادی‌سازی داده‌ها در کاهش دوگانگی را بررسی خواهیم کرد. در حالی که ما بر اهمیت عادی‌سازی تأکید می‌کنیم، شایان ذکر است که روش‌های مدل‌سازی مختلف، مانند کیمبال و یک میز بزرگ، بسته به موارد استفاده خاص، از رویکرد‌های مختلفی از جمله غیرعادی‌سازی حمایت می‌کنند.
با درک این اصول اساسی و در نظر گرفتن طیف گسترده‌تر روش‌شناسی مدل‌سازی، تحلیل‌گران می‌توانند به طور مؤثر داده‌ها را بررسی کنند و از بینش‌های اساسی و تصمیمات آگاهانه اطمینان حاصل کنند. بدون یک مدل داده قوی، چه نرمال یا غیرعادی شده بر اساس زمینه، فرآیند تحلیلی می‌تواند ناسازگار و نادرست باشد.
فصل ۳، «SQL برای تجزیه و تحلیل»
این فصل از کتاب Analytics Engineering with SQL and dbt، به بررسی قدرت پایدار SQL به عنوان یک زبان تحلیلی برتر می‌پردازد. ما با تشریح اصول اولیه پایگاه‌های داده و اینکه چگونه SQL به عنوان زبان اصلی برای تعامل با پایگاه‌های اطلاعاتی عمل می‌کند، شروع خواهیم کرد.
سفر ما مفید بودن نما‌ها در ساده‌سازی پرس و جو‌ها، ویژگی‌های قدرتمند توابع پنجره برای محاسبات پیشرفته، و انعطاف‌پذیری عبارات جدول رایج در پالایش پرس و جو‌های پیچیده را پوشش خواهد داد. ما همچنین نقش SQL در پردازش داده‌های توزیع شده را مورد بحث قرار خواهیم داد و با کاربرد هیجان‌انگیز SQL در آموزش مدل یادگیری ماشین نتیجه خواهیم گرفت.
فصل ۴، «تبدیل داده‌ها با dbt»
این فصل از کتاب Analytics Engineering with SQL and dbt، کاوش مفصلی در مورد dbt فراتر از مقدمه اولیه ارائه می‌دهد. ما نقش حیاتی dbt را در چرخه حیات تجزیه و تحلیل داده‌ها بررسی خواهیم کرد و نشان خواهیم داد که چگونه داده‌های خام را به مدل‌های ساختاریافته و در دسترس تبدیل می‌کند.
کاوش ما ساختار پروژه dbt را هدایت می‌کند و ویژگی‌هایی مانند ساخت مدل، مستندسازی و آزمایش را بررسی می‌کند و در عین حال بینش‌هایی درباره مصنوعات dbt، از جمله فایل‌های YAML ارائه می‌کند.
در پایان این فصل از کتاب Analytics Engineering with SQL and dbt، شما درک جامعی از dbt خواهید داشت که به شما امکان می‌دهد آن را به طور یکپارچه در جریان کار تجزیه و تحلیل خود بگنجانید.
فصل ۵، «موضوعات پیشرفته dbt»
در این فصل از کتاب Analytics Engineering with SQL and dbt، به جنبه‌های پیشرفته dbt خواهیم پرداخت. فراتر از نما‌ها یا جداول، در مورد گستره تحقق مدل در dbt بحث خواهیم کرد، از جمله استفاده از مدل‌های زودگذر، عکس‌های فوری داده‌ها و پیاده‌سازی مدل‌های افزایشی برای دور زدن بار‌های ثابت ثابت.
علاوه بر این، ما کد تجزیه و تحلیل خود را با تمرکز بر بهینه‌سازی کارایی آن با تکنیک‌هایی مانند Jinja، ماکرو‌ها و بسته‌ها ارتقا می‌دهیم تا آن را خشک نگه داریم (خودت را تکرار نکن). در نهایت، لایه معنایی dbt را نیز معرفی خواهیم کرد، که نقش کلیدی عمل به عنوان پلی بین داده‌های خام و بینش‌های معنادار را ایفا می‌کند.
فصل ۶، «ساخت یک مورد استفاده مهندسی تجزیه و تحلیل انتها به انتها»
فصل پایانی کتاب Analytics Engineering with SQL and dbt همه چیز‌هایی را که در مورد مهندسی تجزیه و تحلیل با استفاده از dbt و SQL آموخته‌اید ادغام می‌کند. پس از تعمیق مفاهیم، تکنیک‌ها و بهترین شیوه‌ها در فصل‌های قبلی کتاب Analytics Engineering with SQL and dbt، اکنون با ایجاد یک مورد استفاده کامل از مهندسی تحلیل از ابتدا به سمت یک رویکرد عملی می‌رویم.
از قابلیت‌های dbt و SQL برای طراحی، پیاده‌سازی و استقرار یک راه‌حل تحلیلی فراگیر استفاده می‌شود. مدل‌سازی داده‌ها برای اهداف مختلف در کانون توجه قرار خواهد گرفت. هدف این است که با ادغام بینش‌های فصل‌های قبل کتاب Analytics Engineering with SQL and dbt، یک گردش کار تحلیلی جامع را نشان دهد، که از دریافت داده تا گزارش را در بر می‌گیرد. در طول این فرآیند، ما بر چالش‌های رایج غلبه خواهیم کرد و راهبرد‌هایی برای هدایت مؤثر آن‌ها ارائه خواهیم کرد.
سرفصل‌های کتاب Analytics Engineering with SQL and dbt:
- Cover
- Copyright
- Table of Contents
- Preface
- Chapter 1. Analytics Engineering
- Chapter 2. Data Modeling for Analytics
- Chapter 3. SQL for Analytics
- Chapter 4. Data Transformation with dbt
- Chapter 5. dbt Advanced Topics
- Chapter 6. Building an End-to-End Analytics Engineering Use Case
- Index
- About the Authors
- Colophon
جهت دانلود کتاب Analytics Engineering with SQL and dbt می‌توانید پس از پرداخت، دریافت کنید.
دیدگاهها
هیچ دیدگاهی برای این محصول نوشته نشده است.