2014年,马云从芬兰游戏公司Supercell接触到中台概念后,在阿里内部积极践行,开创了“大中台、小前台”的组织机制和业务机制。
【资料图】
2015年阿里启动中台战略,同年数据中台概念开始深入互联网公司2016年数据中台概念大火2018 年因为“腾讯数据中台论”其再度成为了人们谈论的焦点2020年,阿里却提出要拆中台。
数据中台,仿佛一夜之间坠落神坛。
阿里推出数智服务新品牌瓴羊
峰回路转,2022年阿里又提出DaaS的概念,数智服务平台闪亮登场。
环顾大厂也都纷纷推出数据即服务产品,比如:快手的大数据服务化基础平台、麦聪的DaaS平台等等。
01
数据中台是个失败产品(概念)?
国内所有的数据中台厂商面对客户或者投资人时,总会从马云或者阿里的故事开始讲起,给大家介绍什么是数据中台。
故事很美好,可这么多年过去了,数据中台还是一个仅仅停留在国内的概念,国外没有翻译数据中台这个词的。
不是因为大家不愿意认可这个词,而是确实没有产品能和这个匹配。其实现在谈的多的还是数据库,数据仓库,数据湖,另外ETL,元数据管理,数据目录,SQL工具等。
我们的的数据中台太大了,大得只要是数据的功能全有(当然还有些方法论),大而不精是和产品理念相反的,所以推了这么多年也没有成就一个业内标杆产品。
某数据中台产品架构
但是数据中台的核心概念:One Service,统一数据服务却是在全球都普遍认可的,Snowflake同样讲数据服务化这个概念,Data as a Service,就是数据SaaS,把数据的使用都变成标准的服务。
阿里16年提出所有的数据只加工一次的理念
数据服务平台更像是回归初心的数据中台2.0,或者说数据中台核心概念的升级且成熟的产品。
02
数据服务平台解决什么问题?
步入数字化时代,不光字节、快手这样的典型数据驱动的互联网公司,全球企业都在进行数字化转型,转型的方式多种多样,但核心目的都是利用数据帮助企业实现精细化运营和新增长。
企业利用数据很重要的一点就是靠数据开发工程师根据业务需求开发好高质量的数据,继而开发稳定可靠的数据服务交付给业务方使用。
知乎提问:很多学生想转向大数据开发工程师
这种方式存在两大痛点,也是数据服务平台主要解决的问题:
(一)数据服务开发难,需要考虑很多因素:
数据如何交付:业务通常期望使用数据接口方式来使用数据,而非数据表,这会更加灵活、解耦、高效。数据开发工程师因此需要建立对应的数据服务。
服务如何开发:数据服务有多种形式,通常要求开发工程师有微服务知识、服务发现注册、高并发等。
权限、可用性问题:开发完数据服务后,需要考虑权限问题,确保数据资源能被安全的访问;此外还需要考虑可用性问题,要以多种手段保障数据访问的稳定性。
运维问题:数据服务本身涉及多种运维问题,如扩容、迁移、下线、接口变更、服务报警等。
数据服务开发并不只是简单取数
以上问题都需要数据开发工程师去解决,这就要求数据开发不仅仅是开发出数据表,还需要将数据表包装成一个独立的、灵活的、高可用的、安全的数据服务。
所以数据开发工程师除了具备基本的业务需求捕获、数据建模、SQL开发等能力外,还要具备开发高可用、高性能的数据服务能力(包括java开发、微服务等)。
由此可见:数据服务开发本来就很难,高水平的数据开发工程师也十分难得,而且数据开发大部分的时间都被临时取数的需求占据,根本无法专注在数仓模型、数据集市构建或运维。
(二)数据服务重复开发:
一般公司有很多业务线(如支付业务、直播业务、账户业务等),都存在数据需求,各业务线都做着:1)数据同步到线上数据库和缓存;2)建设微服务等开发。
传统模式重复开发数据服务
其中不同业务线下,数据同步和微服务通常有很多共同之处,重复烟囱式的开发意味要重复开发数据服务,造成了人力资源浪费,而且开发效率低,从数据开发到最终交付数据服务,需要经历较长的周期。
03
数据服务平台介绍
数据服务平台的核心就是简化数据的生产加工,提高数据服务的效率,避免重复开发。
解决数据服务开发难问题
用户可以通过平台来创建、修改数据服务接口(数据API),数据开发工程师甚至不再需要手写数据服务,只需要在平台上进行简单配置就能创建数据API,从而提升效率。(当然也有写代码的形式可供技术人员进行选择。)
创建好的数据API存放于数据市场,有权限的业务方直接取用。
此外:数据服务平台的产品还能提供数据治理体系的一系列功能。
数据治理相关功能
(一)数据服务开发:
API开发:开发人员通过配置或代码的方式快速生成数据服务API;配置模式主要由选择框选取所需数据库表以及输入输出参数字段,代码模式主要由SQL编写更复杂的数据访问需求。SQL工具:开发人员用SQL编写更复杂的数据访问需求。
(二)数据服务共享:
数据超市:开发人员已经开发的API可以放在数据超市,供业务人员申请使用。以消费者角度出发,更人性化的让业务人员对于API接口随时消费,随时调用。高级搜索:系统提供类Google方式的检索,对企业数据进行模糊查找,快速定位用户所需数据。即方便用户通过自己对业务的理解来查看相关数据。
(三)数据服务管理:
数据目录:跨异构平台集成数据、企业数字资产一目了然。(按照公司业务、部门或者其他标签方式将企业数据以目录形式展现出来)数据质量:自定义质量评估标准,自动诊断企业数据质量。
(四)系统管理监控:
统一权限管理:DaaS平台上所有的用户都对应不同的角色和与之对应的权限,由管理员进行管理;相应的API都需要进行申请方可使用。