数据中台01:数据中台的发展:什么是中台、什么是数据中台_数据不出中台是什么意思-程序员宅基地

技术标签: 数据中台  中台  

一、什么是中台

中台是2019年开始火起来的一个概念,它最早是由阿里在2015年提出的“大中台,小前台”战略中延伸出来的概念,灵感来源于一家芬兰的小公司Supercell——一家仅有300名员工,却接连推出爆款游戏,是全球最会赚钱的明星游戏公司。2015年年中,马云带领阿里巴巴集团高管,拜访了位于芬兰赫尔辛基的这家移动游戏公司,这家看似很小的公司,设置了一个强大的技术平台,来支持众多的小团队进行游戏研发。这样一来,他们就可以专心创新,不用担心基础却又至关重要的技术支撑问题。恰恰是这家小公司,开创了中台的“玩法”,并将其运用到了极致。
下面我们举个例子,通过IT行业的发展来进一步理解什么是中台?为什么要出现中台?

1、传统IT时代

在这里插入图片描述
在传统IT时代,无论项目如何复杂,都可以分为 前台 和 后台 两部分,简单明了。
每一个业务线负责维护自己的前台和后台。

这里的前台不仅仅包含前端页面,还包含提供的各种服务。

后台指的是底层的服务,例如我们提取的一些工具服务。

在当时,项目的发展相对稳定,并不需要像互联网时代那么快速的去迭代和试错,所以这种架构没有什么问题。

2、传统IT时代存在的问题

在这里插入图片描述
发展到现在这个时代,传统的前台+后台这种架构是存在一些问题的,每一个产品线之间都会有一些重复的内容,例如这里面的用户模块和支付模块,每一个产品线都需要,如果每一个产品线都是自己开发自己的,这样就会有三套用户模块和支付模块,对于集团公司而言,这就叫重复造轮子。如果后期又增加了新的产品线,还要重新再开发用户模块和支付模块。

所以说为了提高开发效率,我们有必要抽取出一个中间组织,为所有的产品线提供一些公共资源,这个中间组织就是中台。

下面来看一个引入了中台之后的案例。

在这里插入图片描述
本来是各个部门都建立了自己的数据采集,数仓,数据模型等内容,重复开发,浪费成本。各个部门的数据也没有打通,数据很难产生很大的价值。
引入了中台之后,构建了统一的数据采集、统一的数据资产中心、统一的数据建模、分析与挖掘、统一的数据服务,最终向各部门统一提供数据支撑。

3、阿里”大中台小前台架构 ”

接下来这个是阿里的大中台 小前台架构
在这里插入图片描述
阿里许多产品线的共通业务经过下沉,形成了中台的各种业务中心,为各大业务线提供支持。
这样前台应用就会更加灵活,想要构建一个新的前台应用也是比较快速容易的。

4、中台架构主要解决的问题

下面我们来总结一下中台这种架构主要解决的问题。

1、信息获取成本高,之前是每一个产品线都需要单独维护自己的数据,成本比较高。
2、服务具有不确定性,通过中台可以以不变应万变
3、互联互通成本高,不同产品线的数据想要打通成本过高。
4、低水平重复建设,不同产品线需要重复建设相同的模块。
通过中台,可以很好的解决这些问题。

5、中台的延伸

中台是一个大而全的概念,基于中台延伸出了多个方向
技术中台
移动中台
业务中台
数据中台
研发中台
组织中台
等等…

在这里我们可以把中台理解为航空母舰,这些中台都是基于这个航空母舰延伸出来的

1、技术中台提供了技术支撑能力,帮助我们解决了基础设施,分布式数据库等底层技术问题,为前台特种兵提供了精良的武器装备。

2、移动中台提供了战场一线火力支援能力,帮助我们提供更加个性化的服务,增强用户体验,为战场提供了陆军支援能力,随机应变,所向披靡。
注意:这里的移动中台并不是说这个中台会移动,这里的移动表示的是移动端的意思,就是手机端。

3、业务中台提供重用服务,例如用户中心,订单中心之类的开箱即用可重用能力,为战场提供了强大的后台炮火支援能力,随叫随到,威力强大。

4、数据中台提供了数据分析能力,帮助我们从数据中学习改进,调整方向,为战场提供了强大及时的雷达监测能力,帮助我们掌控战场。

5、研发中台提供了技术实践支撑能力,帮助我们快速搭建项目,管理进度,测试,持续集成,持续交付,是前台特种兵的训练基地及快速送达战场的机动运输部队。

6、组织中台为我们的项目提供投资管理、风险管理、资源调度等,是战场的指挥部,战争的大脑,指挥前线,调度后方。

6、阿里中台技术栈全景

接下来我们来看一下阿里的中台技术栈全景

在这里插入图片描述
最下面是一些基础设施和基础中间件
上层是业务中台和数据中台
其中业务中台里面是以业务进行区分,抽取出来的一些公共组件,
例如:会员中心,商品中心,交易中心、订单中心、支付中心、评价中心
后期如果新增的产品线需要用到这些功能的时候可以从业务总台中直接开箱即用,提高效率。
数据中台中包含大数据计算服务(包含离线和实时)、大数据开发套件(这里面包含的是一些小工具)、画像分析、数据可视化、数仓规则、数据服务等,可以实现数据的一站式接入和使用。
移动中台包含了很多移动端的公共组件和功能。
基于这些中台就可以快速为上层这些应用提供各种支持了。

二、什么是数据中台

前面我们讲了什么是中台,中台其实是一个统称,基于中台也延伸出了很多分支。
每一个分支深究起来都有很多内容,不过目前来说,在这些中台的分支里面,数据中台是最为火热的,因为数据是可以直接为企业决策提供支持,可以直接产生价值的。

下面我们就来具体分析一下什么是数据中台
针对数据中台的定义业内目前有很多种说法,没有官方的定义,不同的人有不同的理解。

通俗来讲数据中台是指利用大数据技术,对海量数据统一进行采集、计算、存储,并且对外提供数据服务。
数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的,高可用的大数据服务。

正式一点来说,可以这样理解
数据中台是一套可持续 ”让企业的数据用起来 ” 的机制
通过数据中台把数据变为一种服务能力,既能提升决策水平,又能直接支撑企业业务
数据中台不仅仅是技术,也不仅仅是产品,而是一套完整的让数据用起来的机制。
数据中台不是单纯的技术叠加,不是一个技术化的大数据平台,二者有本质区别。
大数据平台更关心技术层面的事情,包括研发效率,平台的大数据处理能力,针对的往往是技术人员
而数据中台的核心是数据服务能力,数据中台不仅面向技术人员,更需要面向多个部门的业务人员。

1、数据中台的演进过程

数据中台并不是直接就有的,也是根据时代的发展,企业的需求,一步一步演进出来的。
下面我们就来看一下数据中台的演进过程。

(1)数据库阶

最开始是 数据库阶段,主要是OLTP(联机事务处理)的需求;
以淘宝为例,最开始淘宝还只是一个简单的网站,淘宝的整个结构就是前端的一些页面,加上后端的数据库,只是个简单的OLTP系统,主要就是交易的事务处理。

这个阶段,互联网黄页才刚刚出现,数据来源大部分还是传统商业的ERP/CRM的结构化数据,数据量并不大,也就是GB的级别。简单的数据库就能满足需求。

随着淘宝用户超过100万,分析需求的比重就越来越大。淘宝需要知道它的交易来自于哪些地区,来自于哪些人,谁在买淘宝的东西等等,于是,就进入了数据处理的第二个阶段:数据仓库阶段。

(2) 数据仓库阶段

数据仓库阶段,OLAP(联机分析处理)成为主要需求;
OLTP和OLAP对数据存储和计算的需求是不一样的,OLTP处理的是结构化的交易数据,而OLAP对应的是互联网数据,而互联网里面数据量最大的是日志,90%以上的数据都是用户点击之类的非结构化的日志数据,而且数据量已经达到了TB的级别。

针对分析需求,就诞生了数据仓库,数据仓库主要解决大量数据的存储和计算需求,也就是把非结构化的数据转化成结构化数据,存储下来。

这个阶段,数据仓库支持的主要就是BI和报表需求。

随着数据量越来越大,从TB进入了PB级别,原来的技术架构越来越不能支持海量数据处理,这时候就进入了第三个阶段:数据平台阶段。

(3)数据平台阶段

主要解决BI和报表需求的技术问题;
这个阶段解决的还是BI和报表需求,但是主要是在解决底层的技术问题,也就是数据库架构设计的问题。

这在数据库技术领域被概括为「Shared Everything、Shared Nothing、或Shared Disk」,说的就是数据库架构设计本身的不同技术思路之争。

Shared Everything一般是针对单个主机,完全透明共享CPU/MEMORY/IO,并行处理能力是最差的,典型的代表SQLServer。

Shared Disk的代表是Oracle RAC,用户访问RAC就像访问一个数据库,但是这背后是一个集群,RAC来保证这个集群的数据一致性。

问题在于Oracle RAC(实时应用集群)是基于IOE架构的(使用IBM的小型机、Oracle数据库、EMC存储设备)。在海量数据处理上,IOE架构有天然的限制,不适合未来的发展。

Shared Nothing的代表就是Hadoop。Hadoop的并行处理和扩展能力更好。

Hadoop的好处是如果要增加数据处理的能力和容量,只需要增加服务器就好,成本不高,在海量数据处理和大规模并行处理上有很大优势。

综上所述,第三阶段就是,建立Shared Nothing的海量数据处理平台来解决数据存储成本增长过快的问题。

(4)数据中台阶段

通过系统来对接OLTP(事务处理)和OLAP(报表分析)的需求,强调数据业务化的能力。
这个阶段的特征是数据量呈现指数级增长,从PB迈向了EB级别,未来会到什么量级,谁也说不清楚。

主要是因为,2015年之后,IOT(物联网)发展起来,带动了视频、图像、声音数据的增长,未来90%的数据可能都来自于视频、图像、声音这些非结构化数据,这些数据需要视觉计算技术、图像解析引擎+视频解析引擎+音频解析引擎来转换成结构化数据。5G技术的发展,可能会进一步放大视频、图像、声音数据的重要性。

线下要想和线上一样,通过数据来改善业务,就要和线上一样能做到行为可监测,数据可收集,这是前提。线下最大量的就是视频、图像、声音数据,而这些数据靠人来手工收集,肯定是不靠谱的,依靠IOT(物联网)技术和算法的进步,最终会通过智能端来自动化获取数据。

要使用这些数据,光有视觉算法和智能端也不行,要有云来存储和处理这些数据,以及打通其它领域的数据。

目前的数据中台,最底层的数据平台还是偏技术的,是中台技术方案的其中一个组件,主要解决数据存储和计算的问题;在往上面就是一层数据服务层,数据服务层通过服务化API能够把数据和前台的业务层对接;数据中台里面都是系统去做对接,通过智能算法,能把前台的分析需求和交易需求去做对接,最终赋能业务。

2、数据中台 VS 数据仓库

数据仓库主要支持管理决策和业务分析。
数据中台是将数据服务化之后提供给业务系统,目的是将数据能力渗透到各个业务环节,不限于决策分析类场景。
数据中台建设包含数据体系建设,也就是数据中台包含数据仓库的完整内容。
所以说数据仓库阶段的成果是可以转化到数据中台阶段的,并不会全部推倒重做。

3、数据中台需要具备的四大能力

根据我们前面对数据中台的分析,总结起来,数据中台需要具备以下能力:

(1)数据汇聚整合

随着业务的发展,企业内部往往有多个信息部门和数据中心,大量系统、功能和应用重复建设,存在巨大的数据资源、计算资源和人力资源的浪费,同时组织壁垒也会导致数据孤岛的出现,使得内外部数据难以全局规划,数据中台需要对数据进行整合和完善。

(2)数据提纯加工

数据就像石油,需要经过提纯加工才能使用,这个过程就是数据资产化。
数据中台必须联通全域数据,通过统一的数据标准和质量体系,建设提纯加工后的标准数据资产体系,以满足企业业务对数据的需求。

(3)数据服务可视化

为了尽快让数据用起来,数据中台必须提供快捷,快速的数据服务能力,让相关人员能够迅速开发数据应用,支持数据资产场景化能力的快速输出,以响应客户的动态需求。

(4)数据价值变现

数据中台通过打通企业数据,提供以前单个部门无法提供的数据服务能力,以实现数据的更大价值变现。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_40612128/article/details/123547396

智能推荐

2022个人博客网站搭建笔记_葵叔建站笔记-程序员宅基地

文章浏览阅读366次。历时11天我的第一个博客网站上线了。作为一个善于“反思”的中国人,当然要给自己来一把复盘和总结了。然后这篇笔记我就鸽了好几天,嘤嘤嘤。www.ganggangfalcon.xyz 其实说实话,博客网站的搭建难度不大,比较耗时的地方在于网站的ICP备案(但是如果你是境外服务器就没这个问题了),我的备案一共花了6天。在你申请备案的时候,云服务器供应商会先帮你审核一遍。 初审的工作人员服务态度都是很好的,他们会很友好的帮你解决问题。 这不得不提一件事:通信地址最好填..._葵叔建站笔记

signature=8fe0c6ffeeec1d2ea9caea1e3bd24d0a,[求助]高手来一个解密回题。-程序员宅基地

文章浏览阅读3.2w次。[旧帖][求助]高手来一个解密回题。0.00元2008-3-9 16:2925427[旧帖][求助]高手来一个解密回题。0.00元2008-3-9 16:2925427这是一个代内挂的魔力登陆器,我给他脱壳了,用DUDU生成出来的DELPHI文件缺少RES资源文件用不了,没办法我就用资源查看器想用那个改,可是进去了,全是这乱码 CAPTION那个我解了, 就是那个Icon.Data = {..._::dff1749a367a95e75a84a6385df5dfa9:9010

给大家说明。Oracle修改ip或主机名后重建em和监听_oracle修改监听host需要重启吗-程序员宅基地

文章浏览阅读2.5k次。oracle数据库修改ip和主机名的详细操作修改ip操作1.修改hosts文件中主机名对应的ip地址。2.重启服务器网络 service network restart3.一定要先删除原来的监听 emca -deconfig dbcontrol db -repos drop (如果不记得sysman的密码,可以先修改下alter user sy_oracle修改监听host需要重启吗

分享:给入职新人的IDEA培训教程。-程序员宅基地

文章浏览阅读153次。点击上方“方志朋”,选择“设为星标”回复”666“获取新整理的面试资料作者:Richard_Yi链接:http://1t.click/aGJW# 前言工欲善其事必先利其器最近受部门的邀请,..._idea研究院入职流程

智能运维都有哪些工作?智能运维哪些领域好_ai运维平台项目工作内容-程序员宅基地

文章浏览阅读367次,点赞8次,收藏10次。预防性维护:该工作内容涉及通过对设备的运行数据进行实时监控和分析,预测设备的故障和维护需求,提前制定维护计划,降低设备故障率和维护成本。某互联网公司使用智能运维技术对其数据库性能进行实时监控和分析,发现并解决了多个慢查询问题,提高了数据库的访问速度和响应时间。某金融机构使用智能运维技术对其服务器性能进行实时监控和分析,发现并解决了多个性能瓶颈问题,提高了系统的运行效率和用户体验。某大型电商企业使用智能运维技术对其网络流量进行实时监控和分析,发现并拦截了大量的网络攻击行为,保障了网络安全和稳定运行。_ai运维平台项目工作内容

梯度下降法——手工求解,Excel求解,python求解_梯度下降法手算-程序员宅基地

文章浏览阅读773次。目录一、梯度下降法原理1.形象的例子2.什么是梯度3.梯度下降算法原理二、手工求解三、Excel求解四、pyhton求解五、参考资料一、梯度下降法原理梯度下降法(Gradient Descent,GD)是一种常用的求解无约束最优化问题的方法,在最优化、统计学以及机器学习等领域有着广泛的应用。1.形象的例子假设这样一个场景:一个人需要从山的某处开始下山,尽快到达山底。在下山之前他需要确认两件事:下山的方向下山的距离这是因为下山的路有很多,他必须利用一些信息,找到从该处开始最陡峭的方向下山,这_梯度下降法手算

随便推点

Mysql优化---锁机制、行锁及表锁_table_locks_immediate很大-程序员宅基地

文章浏览阅读440次。Mysql优化学习记录_table_locks_immediate很大

使用Keycloak实现安全的SpringBoot微服务-程序员宅基地

文章浏览阅读2.6k次。Keycloak是RedHat的开源身份和访问管理解决方案,本文介绍如何在我们的微服务安全模块中使用keycloak,特别是基于SpringBoot的微服务。Keycloak它提供了身份和访问管理的有用功能:单点登录(SSO),身份代理和社交登录用户联合客户端适配器管理控制台和帐户管理控制台。虽然安全性是任何应用程序的一个重要方面,但安全性的实现部分是复杂和困难的。通常,它在代码..._spring-cloud tomcat引用keycloak

【Unity-UGUI控件全面解析】| Panel 容器组件详解_unity 如何将物体转为panel-程序员宅基地

文章浏览阅读2.1w次,点赞5次,收藏5次。Panel容器组件又称为面板组件,其实就是一个Image组件,只不过Unity给我们提前设置好了一些配置并封装好可以拿来直接使用。主打的就是一个概念化,有了这个’容器’,我们就可以将UI元素模块化,可以根据不同的类别来使用多个Panel来管理。我们移动这个容器组件的时候,这个容器中的其他UI元素也会跟着移动,这可以方便的做一些屏幕自适应的调整,或者一组UI元素进行统一的调整。在Hierarchy视图中选择 Create→UI→Panel 可以新建一个Panel容器组件。_unity 如何将物体转为panel

集合的基本概念_集合详解-程序员宅基地

文章浏览阅读1.1k次,点赞2次,收藏3次。集合难以严格定义直观描述:若干个(有限或无限)具有某种共同性质的事物的全体称:组成集合的单个事物为该集合元素或成员通常用大写英文字母ABC⋯ABC⋯表示集合用小写英文字母abc⋯abc⋯表示元素例如:全中国人的集合,它的元素是每一个中国人,共同性质是中国人一个集合SSS基础条款:给定集合SSS初始元素,使得SSS为非空集合归纳条款:给定由集合SSS中已有的元素构造出新元素的方法极小性条款:集合SSS。_集合详解

数据中台概述-程序员宅基地

文章浏览阅读7.2k次,点赞6次,收藏27次。数据中台定义数据中台概念由阿里提出,即实现数据分层和水平解耦,沉淀公共数据能力,提供数据模型、数据服务与数据开发功能。数据中台到底是什么?是一种产品?还是一种解决方案型产品?数据中台其实更像一种企业架构方法论,是以"共享"(Sharing)为目标的"业务流程再造"(Business Process Re-engineering)和"企业组织重构"(Organizational Restructuring)过程。数据中台不单单指系统或者工具,而是一个职能部门,通过一系列平台、工具、流程、规范来为整个组织_数据中台

HDFS_副本和认证_一证三副本-程序员宅基地

文章浏览阅读342次。一、 三副本策略三副本策略的含义1)如果写请求方所在机器是其中一个DataNode,则直接存放在本地,否则随机在集群中选择一个DataNode2)第二个副本存放在不同于第一个副本所在的机架3)第三个副本存放于第二个副本所在的机架,但是属于不同的节点三副本策略的使用需要开启机架感知功能,才能正常使用副本放置策略:net.topology.script.file.name_一证三副本

推荐文章

热门文章

相关标签