市场数据采集与预处理方法优化

【任务工单7－3】

采集与预处理市场数据任务工单

续表

小商对市场数据进行采集和预处理的操作如下：

Step 1：采集数据。

市场行情数据可以通过电商后台提供的市场数据以及百度指数、阿里指数和360指数等数据平台进行采集，为了比较全面地了解市场容量情况，考虑女装销售存在季节因素这种特殊性，因此最好是采集完整自然年度的数据。

Step 2：清洗数据。

（1）清洗无效值。使用“筛选”功能查找所有字段中与字段无关或者无意义的数据，未发现无效值。操作如图7－1所示。

图7－1　清洗无效值

（2）删除重复值。点击“数据”｜“删除重复项”，未发现重复值。操作如图7－2所示。

图7－2　删除重复值(www.xing528.com)

（3）处理空白值。选择“开始”｜“查找与替换”｜“定位条件”｜“空值”，点击“确定”后未找到空白单元格。操作如图7－3所示。

图7－3　处理空白值

（4）清洗无价值数据。经过对各字段进行筛选，发现未有无价值数据。

Step 3：预处理数据。

下面进行数据的预处理工作。小商选择使用数据透视表来进行数据的汇总计算和处理。

（1）建立数据透视表。对子行业的支付金额较父行业占比数据进行汇总。操作如图7－4所示。

图7－4　建立数据透视表

（2）调整数据透视表格式。此时系统默认格式正确无误，无须调整格式。

（3）插入新的数据透视表。对子行业的支付订单数较父行业占比数据进行汇总，并增选“日期”“类目名”字段，拖拽排列各个字段所处区域。操作如图7－5所示。

图7－5　新建数据透视表

对数据透视表的数据进行整理之后，数据采集与清洗、预处理工作暂且完成。我们进入本项目的第三个任务。