داده کاوی (data mining) چیست؟
داده کاوی فرآیند مرتب سازی از طریق مجموعه داده های بزرگ برای شناسایی الگوها و روابطی است که می تواند به حل مشکلات تجاری از طریق تجزیه و تحلیل داده ها کمک کند. تکنیک ها و ابزارهای داده کاوی شرکت ها را قادر می سازد تا روندهای آینده را پیش بینی کنند و تصمیمات تجاری آگاهانه تری اتخاذ کنند.
داده کاوی بخش کلیدی تجزیه و تحلیل داده به طور کلی و یکی از رشته های اصلی در علم داده است که از تکنیک های تجزیه و تحلیل پیشرفته برای یافتن اطلاعات مفید در مجموعه داده ها استفاده می کند. در یک سطح جزئی تر، داده کاوی گامی در فرآیند کشف دانش در پایگاه داده (KDD) است، یک روش علم داده برای جمع آوری، پردازش و تجزیه و تحلیل داده ها. داده کاوی و KDD گاهی اوقات به جای هم نامیده می شوند، اما معمولاً به عنوان چیزهای متمایز دیده می شوند.
چرا داده کاوی مهم است؟
داده کاوی جزء حیاتی ابتکارات تحلیلی موفق در سازمانها است. اطلاعاتی که تولید می‌کند می‌تواند در هوش تجاری (BI) و برنامه‌های تحلیلی پیشرفته که شامل تجزیه و تحلیل داده‌های تاریخی است، و همچنین برنامه‌های تحلیلی بلادرنگ که داده‌های جریانی را هنگام ایجاد یا جمع‌آوری بررسی می‌کنند، استفاده شود.
داده کاوی موثر در جنبه های مختلف برنامه ریزی استراتژی های تجاری و مدیریت عملیات کمک می کند. این شامل کارکردهای مواجهه با مشتری مانند بازاریابی، تبلیغات، فروش و پشتیبانی مشتری، به علاوه تولید، مدیریت زنجیره تامین، امور مالی و منابع انسانی است. داده کاوی از کشف تقلب، مدیریت ریسک، برنامه ریزی امنیت سایبری و بسیاری دیگر از موارد استفاده حیاتی تجاری پشتیبانی می کند. همچنین نقش مهمی در مراقبت های بهداشتی، دولتی، تحقیقات علمی، ریاضیات، ورزش و غیره ایفا می کند.
فرآیند داده کاوی: چگونه کار می کند؟
داده کاوی معمولا توسط دانشمندان داده و سایر متخصصان BI ماهر و تجزیه و تحلیل انجام می شود. اما می‌تواند توسط تحلیلگران کسب‌وکار، مدیران اجرایی و کارگرانی که به‌عنوان دانشمند داده‌های شهروندی در یک سازمان کار می‌کنند، باهوش داده نیز انجام شود.
عناصر اصلی آن شامل یادگیری ماشینی و تجزیه و تحلیل آماری، همراه با وظایف مدیریت داده ها برای آماده سازی داده ها برای تجزیه و تحلیل است. استفاده از الگوریتم‌های یادگیری ماشین و ابزارهای هوش مصنوعی (AI) بیشتر فرآیند را خودکار کرده و استخراج مجموعه‌های داده عظیم، مانند پایگاه‌های اطلاعاتی مشتریان، سوابق تراکنش‌ها و فایل‌های گزارش از سرورهای وب، اپلیکیشن‌های موبایل و حسگرها را آسان‌تر کرده است.
فرآیند داده کاوی را می توان به چهار مرحله اصلی تقسیم کرد:
- جمع آوری اطلاعات. داده های مربوط به یک برنامه تحلیلی شناسایی و جمع آوری می شود. داده ها ممکن است در سیستم های منبع مختلف، یک انبار داده یا یک دریاچه داده، یک مخزن به طور فزاینده ای رایج در محیط های کلان داده که حاوی ترکیبی از داده های ساختاریافته و بدون ساختار است، واقع شوند. ممکن است از منابع داده خارجی نیز استفاده شود. داده‌ها از هر کجا که می‌آیند، یک دانشمند داده اغلب آنها را برای مراحل باقی‌مانده در فرآیند به دریاچه داده منتقل می‌کند.
- آماده سازی داده ها این مرحله شامل مجموعه ای از مراحل برای آماده سازی داده ها برای استخراج است. این کار با کاوش داده‌ها، پروفایل‌سازی و پیش‌پردازش آغاز می‌شود و پس از آن کار پاکسازی داده‌ها برای رفع خطاها و سایر مشکلات کیفیت داده‌ها انجام می‌شود. تبدیل داده ها همچنین برای سازگاری مجموعه داده ها انجام می شود، مگر اینکه یک دانشمند داده به دنبال تجزیه و تحلیل داده های خام فیلتر نشده برای یک برنامه خاص باشد.
- استخراج داده ها هنگامی که داده ها آماده شدند، یک دانشمند داده تکنیک داده کاوی مناسب را انتخاب می کند و سپس یک یا چند الگوریتم را برای انجام استخراج پیاده سازی می کند. در برنامه‌های یادگیری ماشین، الگوریتم‌ها معمولاً باید بر روی مجموعه داده‌های نمونه آموزش داده شوند تا قبل از اجرای آنها با مجموعه کامل داده‌ها، به دنبال اطلاعاتی باشند که به دنبال آن هستند.
- تجزیه و تحلیل و تفسیر داده ها. نتایج داده کاوی برای ایجاد مدل های تحلیلی استفاده می شود که می تواند به تصمیم گیری و سایر اقدامات تجاری کمک کند. دانشمند داده یا یکی دیگر از اعضای یک تیم علم داده نیز باید یافته ها را به مدیران تجاری و کاربران، اغلب از طریق تجسم داده ها و استفاده از تکنیک های داستان سرایی داده، در میان بگذارد.
انواع تکنیک های داده کاوی
تکنیک های مختلفی را می توان برای استخراج داده ها برای کاربردهای مختلف علم داده استفاده کرد. تشخیص الگو یک مورد رایج استفاده از داده کاوی است که با تکنیک های متعدد فعال می شود، مانند تشخیص ناهنجاری، که هدف آن شناسایی مقادیر پرت در مجموعه داده ها است. تکنیک های رایج داده کاوی شامل انواع زیر است:
- استخراج قانون انجمن. در داده کاوی، قواعد تداعی عبارات if-then هستند که روابط بین عناصر داده را مشخص می کنند. معیارهای پشتیبانی و اطمینان برای ارزیابی روابط مورد استفاده قرار می‌گیرند – پشتیبانی تعداد دفعات ظاهر شدن عناصر مرتبط در یک مجموعه داده را اندازه‌گیری می‌کند، در حالی که اطمینان نشان‌دهنده تعداد دفعاتی است که یک عبارت if-then دقیق است.
- طبقه بندی. این رویکرد، عناصر موجود در مجموعه داده ها را به دسته های مختلفی که به عنوان بخشی از فرآیند داده کاوی تعریف شده اند، اختصاص می دهد. درختان تصمیم، طبقه‌بندی‌کننده‌های ساده بیز، k-نزدیک‌ترین همسایه و رگرسیون لجستیک نمونه‌هایی از روش‌های طبقه‌بندی هستند.
- خوشه بندی. در این مورد، عناصر داده‌ای که ویژگی‌های خاصی را به اشتراک می‌گذارند، به عنوان بخشی از برنامه‌های داده کاوی، در خوشه‌هایی گروه‌بندی می‌شوند. نمونه‌ها شامل خوشه‌بندی k-means، خوشه‌بندی سلسله مراتبی و مدل‌های مخلوط گاوسی است.
- پسرفت. این روش دیگری برای یافتن روابط در مجموعه داده ها با محاسبه مقادیر داده های پیش بینی شده بر اساس مجموعه ای از متغیرها است. رگرسیون خطی و رگرسیون چند متغیره نمونه هایی هستند. درختان تصمیم و برخی روش های طبقه بندی دیگر نیز می توانند برای انجام رگرسیون استفاده شوند.
- تحلیل توالی و مسیر. همچنین می‌توان داده‌ها را استخراج کرد تا به دنبال الگوهایی بگردند که در آن مجموعه خاصی از رویدادها یا ارزش‌ها به رویدادهای بعدی منتهی می‌شوند.
- شبکه های عصبی. شبکه عصبی مجموعه ای از الگوریتم هایی است که فعالیت مغز انسان را شبیه سازی می کند. شبکه‌های عصبی به‌ویژه در کاربردهای پیچیده تشخیص الگو که شامل یادگیری عمیق، شاخه پیشرفته‌تر یادگیری ماشینی است، مفید هستند.
نرم افزارها و ابزارهای داده کاوی
ابزارهای داده کاوی از تعداد زیادی از فروشندگان در دسترس هستند، معمولاً به عنوان بخشی از پلتفرم های نرم افزاری که شامل انواع دیگری از علم داده و ابزارهای تجزیه و تحلیل پیشرفته نیز می شود. ویژگی‌های کلیدی ارائه شده توسط نرم‌افزار داده کاوی شامل قابلیت‌های آماده‌سازی داده، الگوریتم‌های داخلی، پشتیبانی از مدل‌سازی پیش‌بینی‌کننده، یک محیط توسعه مبتنی بر رابط کاربری گرافیکی، و ابزارهایی برای استقرار مدل‌ها و امتیازدهی به نحوه عملکرد آنها است.
فروشندگانی که ابزارهایی را برای داده کاوی ارائه می دهند عبارتند از Alteryx، AWS، Databricks، Dataiku، DataRobot، Google، H2O.ai، IBM، Knime، Microsoft، Oracle، RapidMiner، SAP، SAS Institute و Tibco Software و غیره.
انواع فناوری های منبع باز رایگان نیز می توانند برای استخراج داده ها استفاده شوند، از جمله DataMelt، Elki، Orange، Rattle، scikit-learn و Weka. برخی از فروشندگان نرم افزار گزینه های منبع باز را نیز ارائه می دهند. به عنوان مثال، Knime یک پلت فرم تجزیه و تحلیل منبع باز را با نرم افزار تجاری برای مدیریت برنامه های علم داده ترکیب می کند، در حالی که شرکت هایی مانند Dataiku و H2O.ai نسخه های رایگان ابزارهای خود را ارائه می دهند.
مزایای داده کاوی
به طور کلی، مزایای تجاری داده کاوی از افزایش توانایی برای کشف الگوهای پنهان، روندها، همبستگی ها و ناهنجاری ها در مجموعه داده ها ناشی می شود. این اطلاعات را می توان برای بهبود تصمیم گیری تجاری و برنامه ریزی استراتژیک از طریق ترکیبی از تجزیه و تحلیل داده های مرسوم و تجزیه و تحلیل پیش بینی استفاده کرد.
مزایای خاص داده کاوی شامل موارد زیر است:
- بازاریابی و فروش موثرتر. داده کاوی به بازاریابان کمک می کند رفتار و ترجیحات مشتری را بهتر درک کنند، که آنها را قادر می سازد تا کمپین های بازاریابی و تبلیغات هدفمند ایجاد کنند. به طور مشابه، تیم های فروش می توانند از نتایج داده کاوی برای بهبود نرخ تبدیل سرنخ و فروش محصولات و خدمات اضافی به مشتریان فعلی استفاده کنند.
- خدمات بهتر به مشتریان به لطف داده کاوی، شرکت‌ها می‌توانند مشکلات بالقوه خدمات مشتری را سریع‌تر شناسایی کنند و اطلاعات به‌روز را در اختیار نمایندگان مرکز تماس قرار دهند تا از آنها در تماس‌ها و چت‌های آنلاین با مشتریان استفاده کنند.
- بهبود مدیریت زنجیره تامین سازمانها می‌توانند روندهای بازار را شناسایی کرده و تقاضای محصول را با دقت بیشتری پیش‌بینی کنند و به آنها امکان مدیریت بهتر موجودی کالاها و کالاها را می‌دهند. مدیران زنجیره تامین همچنین می توانند از اطلاعات داده کاوی برای بهینه سازی انبارداری، توزیع و سایر عملیات لجستیکی استفاده کنند.
- افزایش زمان تولید استخراج داده‌های عملیاتی از حسگرهای ماشین‌های تولیدی و سایر تجهیزات صنعتی، از برنامه‌های تعمیر و نگهداری پیش‌بینی‌کننده برای شناسایی مشکلات احتمالی قبل از وقوع پشتیبانی می‌کند و به جلوگیری از خرابی برنامه‌ریزی نشده کمک می‌کند.
- مدیریت ریسک قوی تر مدیران ریسک و مدیران کسب‌وکار می‌توانند ریسک‌های مالی، حقوقی، امنیت سایبری و سایر ریسک‌های یک شرکت را بهتر ارزیابی کنند و برای مدیریت آنها برنامه‌ریزی کنند.
- هزینه های پایین تر. داده کاوی به صرفه جویی در هزینه از طریق کارایی عملیاتی در فرآیندهای تجاری و کاهش افزونگی و اتلاف در مخارج شرکت کمک می کند.
در نهایت، ابتکارات داده کاوی می تواند منجر به درآمد و سود بالاتر و همچنین مزیت های رقابتی شود که شرکت ها را از رقبای تجاری خود متمایز می کند.
نمونه های صنعت داده کاوی
در اینجا نحوه استفاده سازمان ها در برخی صنایع از داده کاوی به عنوان بخشی از برنامه های تحلیلی آمده است:
- خرده فروشی. خرده‌فروشان آنلاین داده‌های مشتری و سوابق جریان کلیک اینترنتی را استخراج می‌کنند تا به آنها کمک کنند تا کمپین‌های بازاریابی، تبلیغات و پیشنهادات تبلیغاتی را برای خریداران فردی هدف قرار دهند. داده‌کاوی و مدل‌سازی پیش‌بینی‌کننده همچنین موتورهای توصیه‌ای را نیرو می‌دهد که خریدهای احتمالی را به بازدیدکنندگان وب‌سایت و همچنین فعالیت‌های مدیریت موجودی و زنجیره تأمین پیشنهاد می‌کنند.
- خدمات مالی. بانک ها و شرکت های کارت اعتباری از ابزارهای داده کاوی برای ساخت مدل های ریسک مالی، شناسایی تراکنش های تقلبی و درخواست های وام و اعتبار استفاده می کنند. داده کاوی همچنین نقش کلیدی در بازاریابی و شناسایی فرصت های بالقوه افزایش فروش با مشتریان فعلی دارد.
- بیمه. بیمه‌گران برای کمک به قیمت‌گذاری سیاست‌های بیمه و تصمیم‌گیری در مورد تایید برنامه‌های سیاست، از جمله مدل‌سازی ریسک و مدیریت برای مشتریان احتمالی، به داده‌کاوی متکی هستند.
- تولید. کاربردهای داده کاوی برای تولیدکنندگان شامل تلاش برای بهبود زمان و کارایی عملیاتی در کارخانه های تولید، عملکرد زنجیره تامین و ایمنی محصول است.
- سرگرمی. سرویس‌های استریم داده‌کاوی را انجام می‌دهند تا آنچه را که کاربران تماشا می‌کنند یا گوش می‌دهند و توصیه‌های شخصی‌سازی‌شده بر اساس عادات تماشا و شنیدن افراد ارائه دهند.
- مراقبت های بهداشتی. داده کاوی به پزشکان در تشخیص شرایط پزشکی، درمان بیماران و تجزیه و تحلیل اشعه ایکس و سایر نتایج تصویربرداری پزشکی کمک می کند. تحقیقات پزشکی نیز به شدت به داده کاوی، یادگیری ماشینی و سایر اشکال تجزیه و تحلیل بستگی دارد.
داده کاوی در مقابل تجزیه و تحلیل داده و انبار داده
داده کاوی گاهی اوقات به عنوان مترادف با تجزیه و تحلیل داده در نظر گرفته می شود. اما عمدتاً به عنوان یک جنبه خاص از تجزیه و تحلیل داده ها در نظر گرفته می شود که تجزیه و تحلیل مجموعه داده های بزرگ را برای کشف اطلاعاتی که در غیر این صورت قابل شناسایی نبود، خودکار می کند. سپس این اطلاعات می تواند در فرآیند علم داده و سایر برنامه های کاربردی BI و تجزیه و تحلیل استفاده شود.
انبار داده با ارائه مخازن برای مجموعه داده ها از تلاش های داده کاوی پشتیبانی می کند. به طور سنتی، داده‌های تاریخی در انبارهای داده سازمانی یا بازارهای داده کوچک‌تر که برای واحدهای تجاری منفرد یا برای نگهداری زیرمجموعه‌های خاصی از داده‌ها ساخته شده‌اند، ذخیره می‌شوند. با این حال، اکنون برنامه‌های داده کاوی اغلب توسط دریاچه‌های داده ارائه می‌شوند که هم داده‌های تاریخی و هم داده‌های جریانی را ذخیره می‌کنند و بر اساس پلتفرم‌های کلان داده مانند Hadoop و Spark، پایگاه‌های داده NoSQL یا سرویس‌های ذخیره‌سازی اشیای ابری هستند.
تاریخچه و ریشه های داده کاوی
فن آوری های ذخیره سازی داده، BI و تجزیه و تحلیل در اواخر دهه 1980 و اوایل دهه 1990 شروع به ظهور کردند و توانایی افزایش یافته ای را برای تجزیه و تحلیل حجم فزاینده ای از داده هایی که سازمان ها ایجاد و جمع آوری می کردند را فراهم کردند. اصطلاح داده کاوی تا سال 1995 مورد استفاده قرار گرفت، زمانی که اولین کنفرانس بین المللی کشف دانش و داده کاوی در مونترال برگزار شد.
این رویداد توسط انجمن پیشرفت هوش مصنوعی یا AARI حمایت می شود که همچنین این کنفرانس را سالانه برای سه سال آینده برگزار می کند. از سال 1999، این کنفرانس – که عموماً به عنوان KDD 2021 و غیره شناخته می شود – عمدتاً توسط SIGKDD، گروه مورد علاقه ویژه در زمینه کشف دانش و داده کاوی در انجمن ماشین های محاسباتی سازماندهی شده است.
یک مجله فنی به نام Data Mining and Knowledge Discovery اولین شماره خود را در سال 1997 منتشر کرد. در ابتدا به صورت فصلی، اکنون هر دو ماه یکبار منتشر می شود و حاوی مقالات بررسی شده در مورد داده کاوی و نظریه ها، تکنیک ها و شیوه های کشف دانش است. نشریه دیگری، مجله آمریکایی داده کاوی و کشف دانش، در سال 2016 راه اندازی شد.
