数据挖掘的历史与应用场景

在海量数据中发掘隐藏的信息这一需求是数据挖掘产生的前提。从古至今，人类就刻意地在生活的方方面面中搜索有用的数据信息。然而，随着信息量的快速增长，需要越来越多的更加自动、有效的数据挖掘方法。早期的方法如18世纪的贝叶斯定理和19世纪的回归分析是最早用于数据挖掘的技术。20世纪，随着计算机的普及与计算机技术的不断发展，数据采集变得越来越容易，数据存储空间也显著扩大。随着数据规模的扩大和复杂性的增加，数据分析的难度也越来越大，相应地产生了自动数据处理的方法，这些方法给数据分析提供了诸多帮助。数据处理方法包括20世纪50年代的神经网络、聚类、遗传算法，20世纪60年代的决策树，20世纪80年代的支持向量机等[2]。

数据挖掘技术已经被企业、科研机构和政府使用很多年。它被用于筛选大量数据，如航空公司乘客旅行信息、人口数据和营销数据以生成市场研究报告，尽管这些报告有时不被认为是数据挖掘。

数据挖掘通常涉及四类任务:①分类，将数据划分成预定义的组；②聚类，类似于分类，但数据的分组不是预先定义好的，算法会尝试将相似的数据分组在一起；③回归，试图找到一个对数据建模误差最小的函数，并求解这个函数；④关联规则学习，寻找变量之间的关系[3]。(www.xing528.com)

数据挖掘的功能包括数据特征描述、数据识别、关联分析、分类、聚类、离群值分析和数据演化分析等。数据特征描述是对目标数据类型特征的总结；数据识别是将目标类对象的一般特征与一个或一组对比类对象的一般特征进行比较；关联分析是发现数据关联规则的过程，关联规则显示属性值条件，属性值条件在给定的一组数据中经常同时出现；分类是寻找一组描述和区分数据类或概念的模型的过程，目的是使用模型预测类标签未知的对象的类；聚类分析数据对象时不参考已知的类模型；离群值和数据演化分析描述并模型化行为随时间变化的对象的规律或趋势[4]。