【摘要】：数据清理主要是对不完整数据、噪音数据和不一致数据的处理。针对噪音数据通常采用分箱平滑处理、聚类和回归等方法处理。在数据集成过程中，需要解决模式匹配、数据冗余、数据值冲突检测与处理等问题。数据属性命名的不一致导致了数据冗余，可利用皮尔逊积矩和卡方检验来衡量数据的相似度和关联性。数据规约主要指在尽可能保持原数据的完整性前提下，最大限度地精简数据量。
大数据预处理是指对现实世界中不完整、不一致和存在问题的原始数据，进行数据的分析、抽取、填补、平滑和合并等操作，以提高数据挖掘的效率和质量。通常数据预处理主要包括数据清理、数据集成和数据规约三部分。
（1）数据清理。
数据清理主要是对不完整数据、噪音数据和不一致数据的处理。针对不完整数据通常采用可能值填充或直接忽略等方法处理该类数据。针对噪音数据通常采用分箱平滑处理、聚类和回归等方法处理。对于不一致数据则可采用通过人工审核并手动更正的方法。
（2）数据集成。(www.xing528.com)
在数据集成过程中，需要解决模式匹配、数据冗余、数据值冲突检测与处理等问题。不同数据集的数据命名方式是不同的，导致相同实体的名称不同。匹配不同数据集中相同的实体是数据集成过程中首先要处理的问题。数据属性命名的不一致导致了数据冗余，可利用皮尔逊积矩和卡方检验来衡量数据的相似度和关联性。数据值冲突问题主要指不同数据集中相同实体的值不同。
（3）数据规约。
数据规约主要指在尽可能保持原数据的完整性前提下，最大限度地精简数据量。主要包括特征规约、样本规约和特征值规约。特征归约是通过对特征进行重组或删除来减少特征的个数。样本归约就是从数据集中选出一个有代表性的样本子集。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
