开放自主，东方金信打造哈行数据仓库

夏添

哈尔滨银行成立于1997年，总部位于中国黑龙江省哈尔滨市，目前科技部总部设立在北京。该行现已在17个省市设立分行，同时设立了24家村镇银行，并作为战略投资者投资重组广东华兴银行，发起设立哈银金融租赁有限责任公司。资产总额人民币4449亿元，客户存款总额人民币3068亿元。

随着哈尔滨银行业务的不断扩大，哈行拥有的客户数量超过1000万，每天交易量超过一亿笔；同时各个业务系统数据又相对孤立，因此根据业务发展的需要，哈行需要建设一个统一的大数据平台，帮助行内完成跨系统，跨部门和跨领域的大数据分析。由于数据量太大，传统的数据存储计算很难满足行内今后的发展。最终，哈行决定选用现在可以支持EB级的大数据平台作为行内统一管理平台。

哈尔滨银行采用东方金信海盒大数据平台作为数据仓库，替代了传统数据架构，实现了分布式大数据平台应用的突破。

哈尔滨银行大数据仓库采用的北京东方金信科技有限公司的海盒大数据平台产品包括海盒大数据平台、海盒大数据采集平台、海盒大数据分析平台和海盒大数据展现平台。

海盒大数据平台是东方金信核心产品，采用Google分布式架构研发。主要包括物理平台层，数据平台层，技术支撑层，应用服务层和数据管控模块。其中，物理平台层为集群的硬件配置层，根据业务需求提供最优的硬件配置信息，当业务需求量增加时可以增加节点来适应新的业务需求。提升平台的可用性；数据平台层可以采取HDFS分布式文件存储，Hbase分布式列存储，Hive数据仓库的应用；技术支撑层使用SparkR、SAS等方式，对平台内数据进行分析，挖掘等处理；应用服务层可以将处理好的数据用于运营管理，风险管理，市场营销，财务绩效，监管合规等业务场景；数据管控模块则为整个集群提供图形化监视界面，实时有效的对集群的即时状态进行监控。

哈尔滨银行项目采用了东方金信的实时数据导入工具和批量ETL工具完成多业务系统数据收集，通过大数据的流技术+实时日志分析工具，实现部分业务数据的实时展示。同时依靠传统的ETL方式，实现每天T+1报表需求和业务需求。

数据存储平台采用了东方金信的海盒大数据平台，将海量数据的存储和计算都在大数据平台上实现，在大数据平台下分为三个大的区域：结构化的数据仓库区域、非结构化的数据存储区域和大数据探索平台。

大数据平台在数据方面承担了两个重要的功能，一是每天晚上要整合前端大量业务系统数据，并按照行内各个业务需求，整合报表功能。二是按照业务需求，将来自多业务系统的数据整合后，给业务部门提供数据分析的数据支持，包括风险管控、精准营销、客户管理、资产管理、信息管理和特别服务等。

通过完成大数据平台建设，数据平台支持行内部分可视化业务，除了实现传统的报表报送业务外，还实现了很多大数据特有的数据分析业务。整个大数据平台全部采用了一键式部署和运维，产品界面友好，稳定性高，运维方便。

“哈尔滨银行大数据仓库项目是金融行业用大数据平台实现数据仓库项目的中国第一个案例，是大数据时代替代传统并行数据时代的一个重要转折点。”东方金信董事长、总经理王伟哲表示。他介绍，基于大数据的金融主题模型和数据管控。主题模型和数据管控是传统数据仓库的核心，也是建立数据仓库的总体框架图。通过建立模型和管控，能够实现数据仓库的核心价值。东方金信通过多年积累和对新技术的不断追求，总结出一套基于大数据平台的主题模型和数据管控系统，并成功落地应用于哈尔滨银行项目中，并得到客户的认可。

通过建立一个安全、稳固、快速的大数据平台体系，东方金信将哈尔滨银行各个业务系统的数据整合到大数据平台中，在大数据平台内部进行分布存储、分布式计算，用于应对日益增长的数据量对当前数据分析所造成的问题，最终能够满足各业务部门以及管理决策人员及时、准确地了解业务运营状况的需要，为哈尔滨银行经营管理、风险管控、决策分析提供有力支持。

哈尔滨银行基于大数据平台的数据仓库项目采用完全自主开发，拥有完全自主知识产权的东方金信海盒大数据产品，不仅将数据仓库的硬件采购价格降低为原来传统模式的十分之一，而且运算速度却提升了数十倍，实现了传统模式向平台仓库跨越式的飞跃。