简单来说，从大数据的生命周期来看，大数据应用技术主要体现在四个方面：信息采集、大数据预处理、大数据存储、大数据分析挖掘，这四个方面共同组成了大数据生命周期里最核心的技术。
10.3.1 采集技术
流行的数据库采集工具有Sqoop和ETL，开源的数据采集工具Kettle和Talend也集成了大数据采集功能，可实现Hadoop系统采集，开源数据库Hbase以及主流非关系型数据库之间的数据同步和集成。网络数据采集借助爬虫或网站公开服务接口实现，从网页采集抓取数据，并将其统一结构化处理为本地数据的数据。文件采集包括实时文件采集和处理技术Flume、基于ELK的日志采集和增量采集。数据处理流程首先是源数据导入ETL（抽取、转换、加载），然后进行数据的清洗、数据转换和数据入库。将基础数据加载到主数据仓库，清洗、转换后的操作数据存储加载到分布式数据库，在分布式数据库内完成数据加工。
ETL是数据仓库技术的简称，用来描述将数据从来源端经过抽取、转换、加载至目标端的过程，图10-4体现常归大数据平台架构。
图10-4 ETL在数据处理流程中的位置
10.3.2 预处理技术
大数据预处理指的是在进行数据分析之前，先对采集到的原始数据所进行的诸如“清洗、填补、平滑、合并、规格化、一致性检验”等一系列操作，旨在提高数据质量，为后期分析工作奠定基础。数据预处理主要包括数据清理、数据集成、数据转换、数据规约。
数据清理指利用ETL等清洗工具，对有遗漏数据、噪音数据、不一致数据进行处理。
数据集成是指将不同数据源中的数据合并存放到统一数据库的存储方法，其着重解决三个问题：模式匹配、数据冗余、数据值冲突检测与处理。
数据转换是指对所抽取出来的数据中存在的不一致进行处理的过程。它同时包含了数据清洗的工作，即根据业务规则对异常数据进行清洗，以保证后续分析结果的准确性。
数据规约是指在最大限度保持数据原貌的基础上，最大限度精简数据量，以得到较小数据集的操作，它包括数据方聚集、维规约、数据压缩、数值规约、概念分层等。
10.3.3 存储技术
大数据存储指用存储器以数据库的形式存储采集到数据的过程，它包含三种典型路线。
（1）基于大规模并行处理技术架构的新型数据库集群，结合大规模并行处理架构的高效分布式计算处理模式，通过字段存储、索引等大数据处理技术，重点面向行业应用大数据所展开的数据存储技术，具有成本低、性能高、扩展性强等特点，在企业分析类应用领域有着广泛的应用。较之传统数据库，其基于大规模并行处理产品的PB级数据分析能力有着显著的优越性。另外，大规模并行处理能力的数据库，也成了企业新一代数据仓库的最佳选择。
（2）针对传统关系型数据库难以处理的数据和场景，利用Hadoop开源优势及相关特性（善于处理非结构、半结构化数据，复杂的ETL流程，复杂的数据挖掘和计算模型等），衍生出相关大数据技术的过程。伴随着技术进步，其应用场景也将逐步扩大，目前最为典型的应用场景：通过扩展和封装Hadoop来实现对互联网大数据存储、分析的支撑，其中涉及了几十种非结构化技术。
（3）专为大数据的分析处理而设计的软、硬件结合的大数据一体机，它由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析而预安装和优化的软件组成，具有良好的稳定性和纵向扩展性。
如图10-5所示，Hadoop是一个以一种可靠、高效、可伸缩的方式进行处理的能够对大量数据进行分布式处理的软件框架。它假设计算元素和存储会失败，因此它可以维护多个工作数据副本，确保能够针对Hadoop失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。(www.xing528.com)
图10-5 Hadoop主要功能
Hadoop是一个分布式计算平台，用户可以轻松地在Hadoop上开发和运行处理海量数据，用户能够轻松架构应用程序，Hadoop逐渐发展成为开放的事实标准，图10-6是大数据技术发展演替的过程。
图10-6 大数据存储技术演进
10.3.4 分析挖掘技术
大数据分析挖掘是从可视化分析、数据挖掘算法、预测性分析、语义引擎、数据质量管理等方面，对杂乱无章的数据进行萃取、提炼和分析的过程。
10.3.4.1 可视化分析
可视化分析指借助数据图形化，通过图形清晰传达与沟通交流信息。数据可视化主要应用于海量数据关联分析，即借助可视化数据分析平台，对分散的异构型数据进行关联分析，并做出数据之间分析图表的过程。数据可视化具有一目了然、直观清晰、快速传递信息的特点。
10.3.4.2 数据挖掘算法
数据挖掘算法指通过建立数据挖掘算法模型，对数据进行搜索试探和计算分析。数据挖掘算法是大数据分析的理论核心。根据应用范围的不同，数据挖掘算法多种多样，且不同数据算法因为基于不同的数据类型和数据格式会呈现出不同的特点。但是创建数据算法模型的过程却是相似的，即首先分析基础数据，然后针对特定的模式和数据关联趋势进行查找，并用分析结果定义创建挖掘模型的最佳参数，并将这些参数应用于整个数据集，以提取可行模式和详细统计信息。
10.3.4.3 预测性分析
预测性分析是大数据最重要的应用领域之一，结合多种高级分析功能，诸如数据挖掘、实体分析、数据统计分析、文本内容分析、实时的评分卡评分、预测分析建模、算法优化、机器学习等过程，通过预测分析模型的算法预测不确定事件发生的概率。预测性分析帮助用户分析结构化和非结构化数据中的趋势、模式和关系，并运用这些指标来预测未来或未知事件，为决策提供科学参考和评判依据。
10.3.4.4 语义引擎
语义引擎指通过为已有数据添加语义的操作，提高用户互联网搜索体验。它是语义网时代的搜索引擎。
10.3.4.5 数据质量管理
数据质量管理指对数据全生命周期的每个阶段（计划、获取、存储、共享、维护、应用、消亡等）中可能引发的各类数据及数据质量，进行识别、监控、度量、预警等操作，以提高数据质量的一系列数据管理过程。
数据质量管理主要包括大数据流式、实时计算工具、Spark Streaming、Storm等。查询分析工具有Drill、Phoenix、Flink、SparkSQL、Hive等。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
