wr_java的博客

不同的职场岗位分工下，随着业务的发展会形成一定的思考模式，这些思考模式一般是针对岗位所面临的常见问题，而总结出来的分析和解决思路。比如商业分析中的用于宏观市场分析的 PEST（Policy Environment Society Technology）思维模型，比如网络通信领域中的 OSI 五层参考模型等。。

随着企业数据越来越大，企业意识到数据是一种无形的资产，通过对企业各业务线产生的海量数据进行合理管理和有效应用，能盘活并充分释放数据的巨大价值。如果不能对海量数据进行有效管理和应用，企业堆积如山的数据给企业带来的是高昂的成本，数据就用不起来，也用不好。通过数据资产管理可以保证数据的全生命周期高质量的能力，还可以为各类角色用户提供数据资产的直观视图，方便用户查看和使用数据资产，构建数据资产管理的最终目的是为了提升数据价值，使数据持续赋能业务。

数据中台是企业数据汇集地，但并不是简单的数据堆积，而是进行分层建模，数据体系建设最终呈现一套完整、规范、准确的数据。数据体系建设就是大数据中数据仓库建设。如下图：贴源数据层 ODS(Operational Data Store)：贴源层又称操作数据层，对各业务系统数据进行采集、汇集，尽可能保留原始业务流程数据，与业务系统基本保持一致，仅做简单整合、非结构化数据结构化处理，或者增加标识数据等，不做深度清洗加工。

要构建企业级数据中台，第一步就是将企业内部各个业务系统的数据实现互联互通，打破数据孤岛 2，主要通过数据汇聚和交换来实现。企业采集的数据可以是线上数据采集、线下数据采集、互联网数据采集、内部数据采集等。线上数据采集主要载体分为互联网和移动互联网两种，对应有系统平台、网页、H5、、App 等，可以采用前端或者后端埋点方式采集数据。线下数据采集主要是通过硬件来采集，例如：WiFi 信号采集、摄像头、传感器、信令数据采集、图像视频采集等。

1.特点Presto 引擎相较于其他引擎的特点正如文章标题描述的这样，多源、即席。多源就是它可以支持跨不同数据源的联邦查询，即席即实时计算，将要做的查询任务实时拉取到本地进行现场计算，然后返回计算结果。除此之外，对于引擎本身，它有几个值得关注的特点：多租户：它支持并发执行数百个内存、I/O 以及 CPU 密集型的负载查询，并支持集群规模扩展到上千个节点；联邦查询：它可以由开发者利用开放接口自定义开发针对不同数据源的连接器（Connector),从而支持跨多种不同数据源的联邦数据查询；

✓ 设置单任务最大待定分片数：node-scheduler.max-pending-splits-per-task✓ 设置单节点最大分片数：node-scheduler.max-splits-per-node。

每个企业的发展情况不同，到底要不要构建数据中台？我们可以从企业数据应用的成熟度来评估企业要不要构建数据中台。数据应用能力成熟度可以总结为统计分析、决策支持、数据驱动、运营优化四个阶段，各自特点如下：以上四个阶段数据应用能力成熟度依次增高，数据应用能力成熟度越高，则代表数据对业务的支撑能力越强，应用能力成熟度越低，则意味着业务对数据的依赖程度越低。企业数据应用能力程度越高构建数据中台越有价值，下面分别介绍四个阶段。

2014 年马云正式提出“DT(Data Technology)”的概念，人类从 IT 时代走向 DT 时代，阿里内部的数据平台事业部大刀阔斧的建立整个集团的数据资产，同年，阿里从芬兰 Supercell 公司接触到中台概念后，在集团内部积极践行，开创了“大中台、小前台”的组织机制和业务机制，通过高效、统一的后方系统来支撑快速变化的前端业务，提高业务产出效率，减少成本投入。2018 年中台概念开始深入互联网公司，2019 年数据中台概念大火。

2014 年马云正式提出“DT(Data Technology)”的概念，人类从 IT 时代走向 DT 时代，阿里内部的数据平台事业部大刀阔斧的建立整个集团的数据资产，同年，阿里从芬兰 Supercell 公司接触到中台概念后，在集团内部积极践行，开创了“大中台、小前台”的组织机制和业务机制，通过高效、统一的后方系统来支撑快速变化的前端业务，提高业务产出效率，减少成本投入。2018 年中台概念开始深入互联网公司，2019 年数据中台概念大火。

在企业数据建设过程中，都离不开大数据平台建设，大数据平台建设涉及数据采集、数据存储、数据仓库构建、数据处理分析、数据挖掘机数据可视化等等一系列流程。随着企业体量的增大，一个企业可能有总公司及很多个子公司，随着企业各类业务多元化和垂直业务发展，从全企业角度来看，每个子公司或者某些独立的业务部都在构建大数据分析平台，在企业内部形成了很多分散、烟囱式、独立的小数仓，形成了一个个垂直的数据中心，从而导致了大量系统、功能和应用的重复建设，更造成了计算资源、存储资源和人力资源的浪费。例如阿里巴巴集团旗下的业务和关联公司

数据中台要求全企业共用一个数据技术平台、共建数据体系、共享数据服务能力。实际上一个企业中由于各个业务线发展不均衡，各自都有独立的数据处理架构，导致共享数据非常困难，所以要构建数据中台不仅是对技术架构的改变，同时还是对整个企业业务运转模式的改变，需要企业在组织架构和资源方面给予支持。数据中台是一个企业战略行动，绝非一个项目组或者一个小团队就能做的，需要了解整个企业的业务情况，对业务进行梳理，还需要技术支撑、组织的支撑，否则很难推行下去。