银行信息系统架构与大数据的意义及挑战

1.业务发展趋势

（1）什么是大数据 大数据通常是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。这常被理解为大数据的狭义概念。从广义上来说，大数据包括业务模式+狭义大数据+大数据平台与技术（采集+存储+计算+展现）+大数据组织流程。从这个层面来说，大数据不仅是数据与技术，更多的是业务，银行应对大数据应该从业务与战略层面来统筹考虑与规划。

（2）大数据对银行的意义 根据研究，银行业是大数据应用价值潜力最大的行业之一。这主要是因为两点：第一点是银行业是数据密集的行业，与大数据相关的业务模式，如大数据金融，对银行有很大的影响，银行有较大的发展空间；第二点是银行具备实施大数据的基本条件，如拥有众多数据、有传统数据处理的经验以及在系统、技术和人才等方面的积累。

数据是银行最为重要的资产之一，是银行支持精细化管理、实现差异化服务、加强业务创新、提升风险分析能力的基础。从传统源头上看，银行业是天然的数据依赖型行业，其对信用信息掌握和分析的质量从根本上决定了生存和发展的质量。

随着互联网与信息技术的高速发展，社会主体行为数据的生成、存储、转移效率大大提升。原本不同经济单元中的数据因素可以通过新的技术分析手段，建立符合定义需求的关联性。大数据概念的提出，即是在数据海量化和互联化的背景下，对更广纬度、更深层次分析需求。IT技术在银行业的普及应用更是不仅能帮助其实现了服务手段的延伸和扩展，也让众多商业银行构建起数据集中化处理和管理体系。这为银行基于大数据概念改善经营、发掘客户需求提供了基础性可能。商业银行是数据的高度依赖者，这表现为三个方面：

首先，传统银行是客户资金信息沉淀平台。无论是支付业务还是储蓄业务，商业银行天然是客户资金信息的积累场所。支付业务为银行提供了资金转移的动态数据，储蓄业务则为银行聚集了资金规模的静态数据。但在传统模式下，银行持有的数据更多体现在以单一客户、单一交易为维度的分散数据，缺乏时间、空间维度的有机关联。

其次，银行是风险数据的高度依赖者。信贷作为传统银行的核心业务，其本质是对风险的判别和定价。在信息不对称的环境中，银行存在的理论依据是其能够更准确地判别数据中的风险信息，降低自身信息不对称成本，相对于存款人可以获取更高的风险溢价。从这个角度理解，银行本质上就是经营信息的中介机构。银行信贷业务的过程就是信用数据采集、积累、甄别和优化的过程。一些银行的经营优势也正是体现在其对信用数据的长周期积累、广域度聚集以及专业化分析能力。

最后，银行与社会数据有广泛的关联性。银行作为服务机构，其与社会各部门运行联系密切。从企业金融服务看，银行可以关联产业信息、流通链信息、财税信息等；从个人金融服务看，银行则介入到行为信息、消费信息、家庭信息等。在银行服务相对发达和普及的环境下，实体部门和银行在信息数据交互上呈现出密切而频繁的状态。由于银行持有数据的广泛性、及时性和相对准确性，其往往也会被赋予征信、反洗钱、反欺诈等社会职能。

（3）大数据对银行数据管理的挑战

1）社会互联化对银行数据管理能力提出的新挑战。互联网技术和应用对现代社会的广泛覆盖和深入渗透直接体现为社会运行和社会行为的“互联网化”，一方面信息交互和数据驻留正在更多地通过互联网网络完成；另一方面，原本无法形成数据信息的社会行为得以在互联网环境下实现了“数据化”。在新趋势下，传统商业银行的“数据化”进程面临两个方面的问题。

第一，传统商业银行“线下”数据优势是否必然延续至“线上”。传统银行业务基于“非互联网化”情景构成了模式优势。传统银行通过物理网点和专业人员密集介入社会经济部门的运转过程，通过根植于公共场所和社区的物理网点构建了周边企业和居民的紧密关系，通过“面对面”服务和尽职调查，连续不间断地获取客户信息。这些数据信息的积累源于银行客户的“线下”行为。银行需要学会获取、记录、分析客户“线上”行为的工具和手段，否则其掌握的数据是片面的、不完整的，也是不经济的。但许多银行基于传统上的优势惯性和对专业人员经验的依赖，更愿意延续人员密集型的数据应用模式，对技术密集型的数据应用仍有待探索。

第二，传统商业银行的管理架构与互联网行业存在差异。相较于互联网的广域性、全时性、扁平化的运行特征，传统商业银行历史上出于内控和稳健性的考虑，其组织架构呈现多层化、复杂化和制衡化的特点：一是在总行层面上有着比较明晰的部门职能分割，管理导向以部门利益诉求为核心，在运行过程中经常呈现分散、多目标的状态，对协作互联往往形成一定制约。这种管理模式也容易导致银行数据的分割化和分散化，抑制了跨部门数据共享和联动的效率。客户生成的网络行为数据是统一数据体系，多个职能部门可以基于这一数据体系行使功能、研发产品和实施管控，为“大数据”的高效、完整实现提供了基础。二是传统商业银行的经营重心是分支机构。分支机构的区域自主性和重要性十分显著。这决定了信息采集的范围以银行基层分支机构的服务半径和银行人员的管理承载能力为极限，也容易形成信息和数据的地域分割。三是传统商业银行更专注于在大型客户和规模业务上积累优势。受风控标准和处理成本等因素制约，传统商业银行更善于针对大客户、大项目和规模型业务需求特点提供非标准化的金融服务或产品，其数据利用能力也是与此类业务模式相适应的。与之相比，互联网业务运作呈现平等化、分散化、“草根化”的特点，更关注海量用户的简单、基础性需求，并通过标准化的方式提供服务。

2）大数据时代银行将管理更多的数据类型。在大数据时代，银行里的数据整体上可以分成三类，如图3-50所示。第一类是结构化的、相对静态的数据，比如银行核心系统、信贷系统、国结系统、网银系统、手机银行系统、客户关系管理系统等各个系统里存储和管理的数据；第二类是半结构化、非结构化的相对静态数据，包括行内的各种文档、电子邮件、日志、客户中心的音频、视频等，也包括行外的社交网络数据、微信、微博和其他外部的文档、音频、视频数据等；第三类是流动的数据，比如网络点击流，点击访问网银、手机产生了流动的数据，这种信息是动态的无时无刻不在变化的，称之为动态的海量信息。这些新的数据形态对数据管理的组织、系统、流程等都带来新的要求，银行需要进行相应的调整才能满足这些的要求。

图3-50 大数据环境下银行数据分类与数据平台

3）大数据对银行当前数据管理系统提出挑战。目前银行内部的数据处理和分析类的系统主要以数据仓库、ODS为代表的传统数据处理平台，这些平台处理的数据对象以行内的结构化数据为主。在大数据时代，面对海量的来自行内外的半结构化、非结构化、动态的实时数据，这些数据处理平台将显得力不从心，无法满足这些数据的处理要求。

因此，在大数据环境下，银行需要根据处理的数据形态和特征，需要在数据仓库平台基础上，引入专门的大数据平台和大数据处理系统，处理行内外的半结构化、非结构化、动态的实时数据等。

2.大数据的特点及其对应用架构的要求

（1）大数据的特点 大数据至少应具备4“V”的特征：数据量大（Volume）、数据类型繁多（Variety）、处理速度快与时效性要求高（Velocity）、价值密度低（Value）或数据不确定性（Veracity）。

第一个特征是数据量大（Volume）。海量是大数据最明显的特征。不过不同行业、地区、机构对数据量“巨大”的计量标准理解有所不同。多数人认为大数据的起始计量单位至少是TB到PB（1000个TB），甚至更大的EB（100万个TB）或ZB（10亿个TB）。其中，互联网等产生的非结构化数据具有超大的规模，增长速度比结构化数据增长快10倍到50倍。

第二个特征是数据类型繁多（Variety）。从类型上看大数据包括非结构化数据、半结构化数据与结构化数据。企业需要整合并分析来自复杂的传统和非传统信息源的数据，包括企业内部和外部的数据。随着互联网、移动网络、智能设备和社交网络等的爆炸性增长，企业需要处理的数据类型至少包括文本、微博、传感器数据、音频、视频、点击流、日志文件等。

第三个特征是处理速度快，时效性要求高（Velocity），需要对高速、运动的流数据进行实时的处理。动态数据处理的需求来自于数据创建是实时的，以及需要将流数据结合到业务流程和决策过程中进行实时的处理。数据以传统的系统不可能达到的速度在产生、获取、存储和分析。对时间敏感的业务，如实时欺诈监测或多渠道即时营销，对数据必须进行实时地分析，才能产生业务价值。(www.xing528.com)

业界对大数据的第四个特征（第四个V）有不同的认识，有的认为是Value，即价值密度低。如何通过强大的机器算法迅速地完成数据的价值提纯，是大数据利用的一个难题。有的认为第四个V是精确性（Veracity），即数据不确定性。追求高数据质量是大数据的一项挑战，即使最优秀的数据清理方法也无法消除某些数据固有的不可预测性，例如天气、经济等数据。要管理不确定性，分析人员需要创建围绕数据的上下文。实现这一点的一种方式是数据融合，即通过结合多个可靠性较低的来源而创建更准确、更有用的数据点。

（2）大数据对企业应用架构的要求 从技术上来说，银行应该构建相应的数据处理能力，增强银行整体的数据驾驭能力，支撑业务创新和实现大数据相关的应用场景。我们对银行需要构建的数据处理能力进行了分析与总结，形成了银行大数据技术能力框架。大数据技术能力可以进一步细分为五种能力：数据获取与集成能力、数据存储、处理与整合能力、数据分析与展现能力、数据治理能力以及大数据开发与运维能力。

数据获取与集成能力指银行从行内、行外数据源，对结构化、非结构化和流数据进行采集，以及在行内跨系统、跨机构的进行数据交换、流转与分发的能力。这个过程也涉及对数据一定的处理。

数据存储、处理与整合能力是指对海量的结构化、非结构化数据进行存储与处理，对动态的流数据进行实时处理，对不同类型数据处理后的结果进行整合的能力。

数据分析与展现能力是指对结构化数据进行分析、挖掘和对非结构化数据进行内容计算，将分析的结果、挖掘的信息和计算的输出以可视化的方式组织和展现，体现数据的价值。

数据治理能力是指通过数据标准、数据质量、元数据、数据生命周期管理等组件为手段，建立相关的数据治理的组织、流程和工具等，通过机制来保证对数据的持续有效管理，实现数据的价值最大化。数据治理的范围包括结构化数据与非结构化数据。

大数据平台开发与运维能力是引入了大数据平台以后，在平台上进行定制开发、对开发的应用进行持续运维的能力。当前大数据平台以开源平台为主，如何对平台进行持续运维是引入平台后要考虑的一个重要问题。

3.大数据的主要应用架构考量

传统银行应用架构更多地考虑内部业务和管理数据的采集、存储、分析与应用，但是大数据需要采集大量的外部数据，同时采集的数据类型更加多样，涉及半结构化和非结构化数据，并且需要对这些数据进行存储、处理与分析，还要考虑与现有结构化数据处理平台的集成和整合，这些都增加了应用架构的复杂性。总体来看，银行的应用架构应该在以下几个方面考虑对大数据的支持。

（1）应用架构需要统一规划引入大数据技术平台 考虑到越来越多的大数据需求，银行不能被动的应对需求，针对每个需求都引入相应的大数据平台支撑需求的实现，长久以往会形成竖井式的架构。因此，银行需要在技术层面引入统一的大数据平台。

大数据平台能够支撑对半结构化数据、非结构化数据、实时的流数据等不同形态的数据处理与分析，在统一平台上，针对不同的需求，搭建不同的系统集群，实现按需拓展，同时在行内能够减少运行运维的成本。

每个银行应该结合自身的情况，开展支撑大数据的架构的规划，明确大数据的技术平台的建设策略，基于大数据技术平台的系统的建设策略，同时明确大数据平台与数据仓库、ODS等其他传统结构化数据处理平台之间的边界与关系。

一般来说，支撑大数据的架构通常包括数据产生层、数据交换层、数据整合层、数据应用层四个层级，每个层级有自己不同的定位和功能，互相配合形成整体的大数据架构体系。

（2）应用架构需要实现大数据平台与现有数据仓库平台等技术平台的融合 大数据系统的建设需要考虑与传统数据仓库等系统建设之间的关系。

如果正在建设数据仓库，那么在数据仓库建设过程中需要考虑大数据环境下对数据仓库系统的新需求。一是时效性。根据不同业务数据对时效性的要求改进数据抽取、加工与报告的时效性，采用快速直通与批量加工相结合的方式。二是数据交换系统。加强数据交换系统建设，实现结构化数据采集与交换应用的功能，形成全行统一的数据传输平台，支持Hadoop平台与数据仓库、ODS之间的数据集成。考虑通过ETL平台集群并行处理机制提高效率、降低成本。三是数据仓库，为海量的数据存储和处理做好准备。从系统容量、可拓展性、性能等方面在建设过程中需要考虑。过程中同步构建的数据仓库平台将支持数据仓库系统、ODS系统、数据集市等系统开发与建设。

如果数据仓库已经完成建设，在大数据环境下，数据仓库的数据来源将有所扩充。数据仓库与ODS的数据来源不仅是来自行内的结构化数据，还有来自通过大数据平台处理提炼后得出的结构化数据、来自流数据应用处理后需要落地进行存储分析的结构化数据，三类结构化数据统一纳入数据仓库进行整合与分析，实现结构化数据与非结构化数据融合、行内与行外数据的融合。

（3）应用架构需要加强对数据的采集，导入到大数据平台 应用架构需要支持银行渠道的快速接入和外部数据的抓取。随着移动互联网的发展，银行在传统的柜面渠道、ATM、网上银行等渠道的基础上又创新出手机银行、微信银行、直销银行等新型渠道，这些新型渠道都是银行获取客户数据的重要途径，应用架构需要支持这些渠道的快速接入，同时应用架构也要具备可扩展性，未来能够快速的和其他的新渠道进行对接。除了可以直接服务客户的渠道，银行应用架构还需要考虑网络爬虫应用，第三方数据接口应用来获取外部网络或者第三方的数据。

（4）应用架构需要专门的数据交换平台 针对前台系统与后台系统交换的数据特点的不同，应用架构需要分别予以支持。如对于非实时的、大数据量的数据批量交互，应用架构可以有专门的统一数据交换应用来支持，对于少量、实时或者准实时的数据实时交互，可以通过企业服务总线实现相应的功能。

（5）应用架构需要专门的大数据分析工具 银行内需要有专门的基于大数据平台的数据分析工具，对大数据平台处理、分析、通过算法挖掘的结果进行展现分析的前端工具，商用工具有Tableau，开源工具有JasperSoft、R等。这种展现和分析工具可以展现传统BI环境下较难展现的内容，并且可以在多个不同的大数据分析应用中跨平台使用。

（6）应用架构需要提供数据沙盘 数据沙盘的定位是为了在大数据环境下实现对不同来源（行内与行外）、不同格式（结构和非结构化）的数据快速组织与整合，用于查询，探索和分析，实现信息发现，支撑业务的创新。它支持业务人员进行自助式的探索与分析，直接处理原始数据、无须培训即可实现企业级数据搜索和分析各种不同数据，并提供一定的可视化分析工具。这个应用能够帮助银行在大数据环境下进行快速创新，尝试从海量数据中发觉新的业务机会和价值。