近日, 招商银行研发中心高级架构师陈翔 莅临观远数据2022智能决策峰会,带来《基于数据驱动的招行数字化应用实践》主题分享,详细介绍了招商银行「圆方数据分析平台」建设的前世今生。

从用户痛点需求到“让业务用起来”的企业价值,从平台技术建设到运营推广,从应用现状到升级规划,深度讲解招商银行领先的数据分析平台建设经验,为更多期望实现“数据驱动”的企业提供路径参照。

以下为招商银行研发中心高级架构师陈翔的演讲实录:

01. 让业务用起来的企业价值


【资料图】

本次峰会的主题是“让业务用起来”,我认为这个观点背后隐含了两个重要的事情: 第一,你必须能够通过某些手段解决用户在用数过程中遇到的切实痛点; 第二,这些解决用户用数痛点的手段必须能够让用户用数的门槛降下来,让用户用数更加方便,能够快速敏捷的形成产出。

总而言之,业务要能够自主的把数据用起来,一定是能够感受到数据对他们的工作带来了帮助和便利,甚至能够直接提升他们工作的成效。 从招行以前的实际用数场景来看,用户用数的最主要痛点主要是以下几个方面:

数据分散 :数据太多太分散。想用的数据不知道在哪里,也不知道找谁要,并且数据的使用上还存在着一些“竖井”的现象;

手工数据 :以往一线业务用户更习惯使用Excel工具来进行数据分析工作,数据散落在不同的Excel文件里,很难进行安全以及数据质量的管控,以及复用和共享;

迭代更新慢 :以往报表开发的工作模式是IT根据业务需求进行报表制作,银行的业务特点是数据口径复杂多样,需求更新变化快、多,IT很难快速响应业务的变化;

取数过程曲折 : 数据要流转到真正用数的同事手中,面临了各种各样的障碍,比如技术门槛高、数据申请流程长、沟通成本高,总之就是过程太长,耗时耗力。

意识到存在这些问题后,招商银行在2018年开始打造一整套面向分行的IT和业务用户自主用数的平台和工具,内部称之为「分行数据云」,助力全行用户在数据分析方面全流程实现低门槛、可视化、全自助,让业务真正把数据用起来。

扫描文末二维码获取全部PPT

这一整套完整的数据分析平台和工具借助了观远数据BI的能力,和观远数据一起共建了「圆方数据分析平台」,作为「分行数据云」中承上启下的重要部分。 经过几年的发展,「圆方数据分析平台」已经成长为其中最重要的平台之一。

02. 圆方平台的前世今生

圆方平台的建设过程也很曲折。招行其实从很早以前就有建设数据仓库和大数据平台,但主要是面向总行级的部门和团队使用,招行分行一线业务中台人员其实很难享受到技术带来的变革和创新。44家分行各自建设以及运维本地的数据仓库,总行在ACS私有云的支持下,构建了一整套面向分行的大数据云化服务,作为全部44家分行统一的核心数仓定位存在。

在2018年规划整个分行数据云服务的初期,我们也和很多分行进行过调研和沟通。分行用数普遍存在一些共性的痛点,比如业务人员无法自主用数,缺乏完整的、体系化的一体化数据开发平台等等。基于这些背景,总行架构管理团队研究了大数据领域的发展趋势,且正好赶上招行自己内部私有云建设的时机,适时地提出了大数据云化这样一条创新服务的模式。

「分行数据云」项目从2018年11月启动以后,经过9个月的建设过程,第一版于2019年8月上线,并在2020年3月进行了全行推广使用。在接下来的两年多的持续迭代过程中,活跃用户数已经超过4万人,基本实现了数据平民化的使用,也说明一线人员对于“自主用数”这种模式的认可。

03. 数字化平台介绍

前面简单介绍了招行数据云的建设历程,接下来将具体分享一下数据云平台是如何做到让业务自主用数的。

通过「分行数据云」,我们为分行提供了高效便捷的用数体验,圆方平台更成为了分行数据工作的主战场。目前:

平台月活用户数已经达到 4.2万 规模;

平台在分行的渗透率达到 80% ;

月均访问次数 600万+。

回过头再来看看以往的用数模式,经过用户的申请,然后审批提数,最后才能到业务人员手中进行数据分析工作。而现在业务人员自主在平台上进行数据分析工作,已经完全摆脱了以往流程上的一些束缚,效率大大提升。据我们统计,一项数据分析工作从以前的 平均5个工作日 缩减到了目前的 1个小时 。

在平台的技术建设方面,我们主要关注到以下四个方面:

技术架构 :以大数据的开源组件Spark为核心,构建了一整套可扩展的技术架构,通过多实例部署,实现圆方平台的高可用;利用ClickHouse的核心技术,打造了极致的查询体验,目前平台上面93%的查询能够在3秒内完成。

平民用数 :实现拖拉拽式的ETL以及数据分析,所见即所得,大大降低了用户的用数门槛。实现多终端适配,支持移动应用免APP的部署,降低用户侧产出的难度。实现了通过订阅和预警有效触达一线用户,实现数据分析全链路的内容资产化,降低用户在数据分析各个环节的使用门槛。

开放融合 :支持多种类型的数据源接入,支持通过数据API服务赋能下游应用,从而拓展更多的使用场景。我们对接了分行常用的一些数据应用,并且支持外部的系统对于产品功能进行封装和融合,打通了数据支持应用的一个通道。

安全管理 : 满足多场景的数据分发需求,满足多网段数据使用的安全需求,集成了行内的安全审批各项流程。

能达到全部分行全面自主用数的目标,光有平台我们觉得是不够的。在这几年的推广工作的过程中,我们深刻意识到随着平台的不断推广,数据使用的需求不断增多,我们需要帮助用户更快速的成长,获取对应的数据分析技能,提升用户的数字化思维,同时也能够帮助用户快速解决数据分析工作中的各类问题。

扫描文末二维码获取全部PPT

为此,我们专门投入了运营资源,希望通过对分行的运营支持工作全面统筹,协调规划分行在用数方面的痛点、问题、诉求和解决方案。 通过运营工作的推动,用户个人单兵作战能力以及数据协同能力不断提升,切实解决了业务中台人员自助分析数据的障碍,以及一线人员用数的障碍,形成了全行范围内的用数文化,构建了数据驱动型的组织。

04. 未来展望

我们的平台和运营工作进展到今天,其实感觉到后续的工作会更加艰巨。我们的目标也不仅仅是 让业务把数据用起来 ,还要 让业务把数据用好 。因此,我们的 平台和服务将会在以下五个方面持续升级 :

构建一站式平台,端到端方案 :从数据汇集到数据治理,到数据存储,到可视化分析,到多终端平台展现以及到订阅分发,通过一个平台一站式搞定。

可视化、零代码 :无论是数据处理还是可视化分析,还是页面的展示逻辑,全部通过拖拽式的操作,所想即所见,所见即所得。

云原生,高性能 :基于云原生架构,支持从单点到上千节点的超大集群的伸缩部署,满足不同数据规模、不同数据时效的各类场景。

多终端适配,丰富场景支持 :顺应大数据技术的发展潮流,移动应用免APP部署,大中小屏幕快速适配。

走进业务,赋能业务 : 运营工作更加接地气,更加贴近用户的实际诉求,推动IT和业务的全面融合,赋能业务。

最后总结一下,只有降低数据分析的使用门槛,降低一线业务人员使用数据的技术难度,加大数据分析人员自主用数的积极性,才能让一线数据人员便捷高效地产出数据成果,提高产能。真正做到数据驱动业务,体现出数据的真正价值。

推荐内容