کلان داده (Big Data) چیست؟

کلان داده به داده هایی اطلاق می شود که آنقدر بزرگ، سریع یا پیچیده هستند که پردازش آنها با روش های سنتی دشوار یا غیرممکن است. عمل دسترسی و ذخیره مقادیر زیادی از اطلاعات برای تجزیه و تحلیل برای مدت طولانی وجود داشته است. اما مفهوم کلان داده در اوایل دهه 2000 زمانی که تحلیلگر صنعت، داگ لنی، تعریف رایج کنونی کلان داده را به عنوان سه V (Volume, Veloxity, Variety) بیان کرد، شتاب بیشتری گرفت:

جلد. سازمان‌ها داده‌ها را از منابع مختلفی از جمله تراکنش ها، دستگاه های هوشمند (IoT)، تجهیزات صنعتی، فیلم‌ها، تصاویر، صدا، رسانه‌های اجتماعی و غیره جمع‌آوری می‌کنند. در گذشته، ذخیره همه این داده‌ها بسیار پرهزینه بود – اما ذخیره سازی ارزان تر با استفاده از دریاچه های داده، هادوپ و ابر بار را کاهش داده است.

سرعت. با رشد اینترنت اشیا، داده‌ها با سرعت بی‌سابقه‌ای وارد کسب‌وکارها می‌شوند و باید به موقع مدیریت شوند. تگ‌های RFID، حسگرها و کنتورهای هوشمند نیاز به مقابله با این سیل داده‌ها را در زمان تقریباً واقعی ایجاد می‌کنند.

تنوع. داده‌ها در انواع فرمت ها وجود دارند – از داده های ساختاری و عددی در پایگاه های داده سنتی گرفته تا اسناد متنی بدون ساختار، ایمیل‌ها، فیلم‌ها، فایل‌های صوتی، داده‌های مربوط به سهام و تراکنش‌های مالی.