什么是数据挖掘，为什么它很重要？
什么是数据挖掘？
数据挖掘是对大量数据进行筛选以查找可用于特定目的的相关信息的过程。数据挖掘对于数据科学和商业智能都至关重要，它本质上是关于模式的。
一旦收集并存储数据，下一步就是理解数据，否则就毫无意义。数据分析以多种方式进行，包括使用机器学习之类的概念，其中使用复杂的自适应算法来人工分析数据。
更传统的数据挖掘方法需要数据科学家参与，他们是经过专门培训、能够理解复杂信息的专家，会生成报告作为管理团队采取行动的依据。
数据挖掘的原理是什么？
数据挖掘涉及检查和分析大量信息，旨在发现有意义的模式和趋势。该过程包括收集数据、制定目标和应用数据挖掘技术。所选策略可能因目标而异，但数据挖掘的经验过程是相同的。典型的数据挖掘过程可能如下所示：
定义目标：例如，是否要进一步了解客户行为？是否要削减成本或增加收入？是否要识别欺诈？在数据挖掘过程开始时定义一个明确的目标很重要。
收集数据：您收集的数据将取决于您的目标。组织通常将数据存储在多个数据库中 – 例如，来自客户通过事务提交的信息等。
净化数据：选择数据后，通常需要对其进行净化、重新格式化和验证。
查询数据：此时，分析人员通过运行统计分析和构建可视化图形及图表来熟悉数据。目的是确定对数据挖掘目标重要的变量，并形成初始假设以生成模型。
构建模型：数据挖掘有不同的技术（见下文），在此阶段，目标是找到将产生最有用结果的数据挖掘方法。分析人员可以根据他们的目标选择使用下一节中总结的一种或多种方法。模型构建是一个迭代过程，可能需要重复数据格式化，因为某些模型需要以特定方式格式化的数据。
验证结果：在此阶段，分析人员将检查结果以确认发现是否准确。如果不准确，则需要重建模型并重试。
实施模型：已发现的洞察可用于实现在过程开始时定义的目标。
数据挖掘的类型
数据挖掘技术有很多种，使用哪种技术将取决于您的总体目标。有不同的数据模型，每种模型都依赖于不同的数据挖掘技术。主要的数据模型分为描述性、预测性和规范性：
描述性建模
这会揭示历史数据中的相似性或分组，以了解成功或失败背后的原因，例如按产品偏好或情绪对客户进行分类。示例技术包括：
- 关联规则：这也称为购物篮分析。这种类型的数据挖掘搜索变量之间的关系。例如，关联规则可能会查看一家公司的销售历史记录，了解哪些产品最常被一起购买。该公司可以使用这些信息进行规划、促销和预测。
- 聚类分析：聚类旨在识别数据集内的相似性，将具有共同特性的数据点划分为多个子集。聚类可用于定义数据集内的特性，例如根据购买行为、需求状态、生活阶段或营销传播中的偏好对客户进行细分。
- 离群分析：此模型用于识别异常，即不完全符合模式的数据。离群分析在欺诈检测、网络入侵检测和刑事调查中特别有用。
预测性建模
这种建模更深入地对将来的事件进行分类或估计未知结果 – 例如，使用信用评分来确定个人偿还贷款的可能性。示例技术包括：
- 决策树：用于根据一组标准列表来分类或预测结果。决策树用于请求输入一系列级联问题，以根据给定响应对数据集进行分类。决策树有时显示为树状视觉效果，从而在深入挖掘数据时允许特定方向和用户输入。
- 神经网络： 通过使用节点来处理数据。这些节点由输入、权重和输出组成。与人脑的互连方式类似，数据通过监督式学习进行映射。可以对此模型进行拟合以提供用于确定模型准确度的阈值。
- 回归分析：回归分析旨在了解数据集内最重要的因素，哪些因素可以忽略，以及这些因素如何相互作用。
- 分类：这涉及根据要解决的特定问题或挑战将数据点分配给组或类。例如，如果某个零售商想要优化特定产品的折扣策略，它可能会查看销售数据、库存水平、优惠券兑换率和消费者行为数据来指导其决策。
规范性建模
随着来自互联网、电子邮件、注释字段、书籍、PDF 和其他文本来源的非结构化数据的增长，文本挖掘作为数据挖掘的相关学科的采用也显著增长。数据分析人员需要能够解析、筛选和转换非结构化数据，以将其包含在预测模型中，提高预测准确度。
数据挖掘中的数据类型
可以挖掘的数据类型包括：
- 数据库或数据仓库中存储的数据
- 事务数据 – 例如，航班预订、网站点击、商店购买等
- 工程设计数据
- 序列数据
- 图形数据
- 空间数据
- 多媒体数据
为什么数据挖掘很重要？
大多数组织正变得更加数字化。因此，许多公司发现他们坐拥大量数据，如果分析得当，这些数据有可能与他们的核心产品和服务一样有价值。
数据挖掘有助于从数字事务的数据中发现洞察，为企业提供竞争优势。通过更深入地了解客户行为，公司可以创造新的产品、服务或营销技巧。以下是数据挖掘可以为企业带来的一些优势：
优化定价：
通过使用数据挖掘来分析不同的定价变量（如需求、弹性、分销和品牌认知），企业可以将价格设定在利润最大化的水平。
优化营销：
数据挖掘使企业可以根据行为和需求对客户进行细分。进而使他们能够提供个性化的广告，效果更好且与客户更相关。
增强生产力：
分析员工行为模式可以为人力资源计划提供信息，提高员工敬业度和工作效率。
提高效率：
从客户购买模式到供应商定价行为，企业可以使用数据挖掘和数据分析来提高效率并降低成本。
提高客户保留率：
数据挖掘可以揭示有助于更深入了解客户的洞察。进而改善您与客户的互动，提高保留率。
改进产品和服务：
使用数据挖掘可以定位和修复质量不符合标准 的任何区域，从而减少产品退货。
数据挖掘的用途
数据挖掘有许多用途，具体取决于组织及其需求。以下是一些可能的用途：
销售
数据挖掘可以帮助推动销售。例如，考虑一家商业街商店的销售点收银机。每次销售，零售商都会记录购买时间、一起销售的产品以及最受欢迎的产品。零售商可以使用此信息来优化其产品线。
营销
企业可以使用数据挖掘来改进其营销活动。例如，来自数据挖掘的洞察可用于了解潜在客户在哪里看到广告、目标人群是什么、在哪里投放数字广告以及哪些营销策略对客户最有效。
制造
对于生产自己产品的公司，数据挖掘可用于分析原材料成本、材料是否得到最有效的利用、制造过程中的时间是如何消耗的，以及哪些障碍影响了过程。数据挖掘可用于预测何时应订购新的物资或何时需要更换设备，从而支持及时履行。
欺诈检测
数据挖掘的目的是发现将数据点链接在一起的模式、趋势和相关性。组织可以使用数据挖掘来识别不应存在的异常值或相互关系。例如，一家企业可能会分析其现金流，并发现对未知账户的重复付款。如果这不在意料中，公司可能希望进行调查以检查潜在的欺诈行为。
人力资源
人力资源部门通常有各种各样的数据可供处理，包括有关员工保留率、晋升、薪资范围、公司福利和福利的使用方式以及员工满意度调查等方面的数据。数据挖掘可以关联这些数据，以便更好地了解员工离职的原因以及新员工加入的动机。
客户服务
客户满意度受多种因素影响。以一家发运货物的零售商为例。客户可能对交货时间、交货质量或交货预期沟通不满意。同一客户可能会因为电子邮件回复缓慢或电话等待时间过长而感到沮丧。数据挖掘会收集有关客户交互的运营信息并汇总调查结果，以确定薄弱环节以及公司表现良好的方面。
客户保留
公司可以使用数据挖掘来确定转向竞争对手的客户的特征，然后提供特别交易以留住具有相同特征的其他客户。
安全
入侵检测技术使用数据挖掘来识别可能是网络入侵的异常情况。
娱乐
流媒体服务执行数据挖掘以分析用户正在观看或收听的内容，并根据他们的习惯进行个性化推荐。
医疗保健
数据挖掘可帮助医生诊断病情、治疗患者以及分析 X 射线和其他医学成像结果。医学研究也在很大程度上依赖于数据挖掘、机器学习和其他形式的分析。
数据挖掘的未来
云计算技术对数据挖掘的发展产生了重大影响。尽管存在云安全问题和挑战，但云技术适合许多组织现在收集的高速、大量的半结构化和非结构化数据。云的弹性资源可以扩展以满足这些大数据需求。结果是，由于云可以保存更多不同格式的数据，需要更多的数据挖掘工具来将这些数据转化为洞察。此外，人工智能和机器学习等高级数据挖掘形式作为云服务提供。
云计算的未来发展可能会继续推动对更有效的数据挖掘工具的需求。人工智能和机器学习正在发展，数据量也在增长。云越来越多地被用来存储和处理数据，以实现商业价值。数据挖掘方法似乎将越来越依赖于云。
关于数据挖掘的常见问题解答
有关数据库挖掘、数据挖掘的原理以及数据挖掘重要性的常见问题包括：
数据挖掘用于何处？
数据挖掘用于探索大量数据，以发现可用于特定目的的模式和洞察。这些目的可能包括改进销售和营销、优化制造、检测欺诈和增强安全性。数据挖掘广泛应用于各行各业，如银行、保险、医疗保健、零售、游戏、客户服务、科学和工程等。
数据挖掘的原理是什么？
数据分析人员通常在数据挖掘过程中遵循一定的任务流程。典型的数据挖掘过程可能从定义数据分析的目标开始，然后着手了解数据的存储位置、数据的收集方式以及需要进行的分析。接下来的步骤是准备用于分析的数据、构建模型、评估模型的发现，然后实施更改并监控结果。
为什么使用数据挖掘？
数据挖掘用于确定组织挑战和机遇。它可用于优化产品定价、提高生产力、提高效率、增强客户服务和保留率，以及帮助产品开发。数据挖掘有助于从数字事务的数据中发现洞察，为企业提供竞争优势。
相关文章：
相关产品：
什么是数据挖掘，为什么它很重要？
Kaspersky
