
数据资产管理
文章平均质量分 84
张永清-老清
从事功能测试、自动化测试、性能测试、Java软件开发、大数据开发、架构师等工作十多年,在自动化测试设计、性能测试设计、性能诊断、性能调优、分布式架构设计等方面积累了多年经验。参与过的系统涉及公安、互联网、移动互联网、大数据、人工智能等领域。先后任职于江苏飞搏软件、苏宁大数据研发中心、苏宁研究院、苏宁人工智能研发中心、紫金普惠研发中心、福特汽车工程研究有限公司,历任测试经理、技术经理、部门经理、高级架构师等职位。重点关注大数据、图像处理、高性能分布式架构设计等领域。著有图书《软件性能测试、分析与调优实践之路》《数据资产管理核心技术与应用》、《RobotFramework 自动化测试框架核》等书。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
《数据资产管理核心技术与应用》读书笔记- 第六章-数据监控与告警(一)
《数据资产管理核心技术与应用》一书系统介绍了大数据时代的数据资产管理技术。全书分为三部分:基础概念(第1章)、核心技术(第2-8章)和应用实践(第9-10章)。其中第六章重点阐述了数据监控与告警技术,包括对数据质量、链路、任务、服务和资源等五大维度的监控方法。书中详细讲解了采用时序数据库存储监控数据的技术方案,并以Spark和Flink为例展示了实时数据处理系统的监控指标采集方式。此外还介绍了通过SNMP协议监控硬件资源的技术实现,以及构建完整监控告警系统的技术架构。该书由清华大学出版社出版,作者张永清等,原创 2025-06-26 15:12:48 · 822 阅读 · 0 评论 -
《数据资产管理核心技术与应用》-常见的开源数据资产管理平台介绍与底层架构实现总结
Data Hub是一个开源的可扩展的以元数据管理为主的数据资产管理平台,实现了元数据的采集、存储、展示、治理等功能,通过访问https://datahubproject.io可以进入Data Hub的官方网站,其源码是托管在Github中,源码的Github地址为。随着大数据技术的发展,在开源社区中涌现出了很多优秀的数据资产管理平台项目,比如像Apache Atlas、Data Hub、OpenMetadata等,正是这些开源项目的出现,推动了数据资产管理技术的不断前进。原创 2025-04-18 17:03:12 · 705 阅读 · 0 评论 -
免费赠书啦,免费赠送多本《数据资产管理核心技术与应用》一书
公众号或者添加微信35926237,由相关人员拉入对应的活动群,群名称为锋哥聊数仓交流①群或者锋哥聊数仓交流②群。通过有奖知识问答的形式进行赠书,有奖知识问答的内容全部来自于。原创 2024-10-22 17:02:55 · 257 阅读 · 0 评论 -
大数据资产管理架构设计篇-来自《数据资产管理核心技术与应用》一书的权威讲解
数据资产管理是一项系统而复杂的工程,涉及到元数据、数据血缘、数据质量、数据服务、数据监控、数据安全、数据权限等众多方面,为了更高效的管理好数据资产,因此在很多大型的企业或者组织中,通常会构建一个数据资产管理平台来管理这些各种各样的数据资产,数据资产管理平台通常会包含如下功能: 关注。一书的前面的章节中已经有过很具体的描述,在拿到这些数据后,数据管理层主要要实现的功能就是把这些数据做集成并且展示到数据资产管理平台中,数据管理层是数据资产管理的核心。原创 2024-10-11 15:42:11 · 1518 阅读 · 0 评论 -
郑重申明《数据资产管理核心技术与应用》一书在拼多多上被盗版售卖,恳请大家支持正版和作者的著作权权益
数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,作者为张永清等著,近期我本人在拼多多上很多不同的店铺中都买到了这本书的盗版版本,购书的原因是想从市场上购买一批本书送给忠实的读者和身边的朋友,但是发现买到的总是盗版的版本,本书目前在京东、淘宝、当当等电商平台上出现了大卖,所以很多不法商家和店铺见到有利可图,纷纷在进行盗版仿制印刷以及售卖,本人已经通过12345热线向市场监管局进行了举报,并且要求拼多多平台下架所有的本书的盗版书籍,如下图所示,图书正面没有任何的防伪标志。原创 2024-09-19 18:37:55 · 435 阅读 · 0 评论 -
《数据资产管理核心技术与应用》首次大型赠书活动圆满结束
数据资产管理核心技术与应用》为读者提供一套可以落地的数据资产管理框架,并详解两个基于该框架进行数据资产管理的应用案例,使读者能更好地了解数据资产管理底层所涉及的众多核心技术,让数据可以发挥出更大的价值。《数据资产管理核心技术与应用》适合数据资产管理者、数据资产管理初学者、数据应用开发工程师、数据分析师、数据库管理员、架构师、产品经理、技术经理作为技术参考书,也适合高等院校或高职高专数据资产管理相关课程的教学参考书。第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。原创 2024-09-14 09:47:37 · 368 阅读 · 0 评论 -
《数据资产管理核心技术与应用》读书笔记-第四章:数据质量的技术实现(二)
数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。质量数据其实和常用的监控数据很类似,也可以考虑用时序数据库来进行存储,因为质量数据都是按照时间来时序采集的,并且数据也是时序变化的,所以使用时序数据库来存储是非常适合的。质量数据采集到的是原始的数据,由于数据质量规则众多,所以每一种规则采集到的原始数据可能都不一样,所以还需要对原始的数据做归一化处理,然后才能进行入库存储,如下图所示。原创 2024-08-27 14:51:13 · 1252 阅读 · 0 评论 -
《数据资产管理核心技术与应用》读书笔记-第五章:数据服务(二)
在完成了数据服务的配置后,数据服务在调用时,还需要进行监控,在监控到发生故障时还需要支持自动发送告警通知信息,这样才能更好的保障数据服务的稳定性。在书中的数据监控与告警那一章节中,有提到数据服务的监控与告警的技术设计实现主要是通过异步采集数据服务的调用日志,然后再配合Prometheus与Grafana来完成,如下图所示。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,作者为张永清等著原创 2024-08-26 11:59:13 · 902 阅读 · 0 评论 -
《数据资产管理核心技术与应用》读书笔记-第五章:数据服务(一)
《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。第2~8章主要介绍大数据时代数据资产管理所涉及的核心技术,内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9~10章主要从实战的角度介绍数据资产管理技术的应用实践,包括如何对元数据进行管理以发挥出数据资产的更大潜力,以及如何对数据进行建模以挖掘出数据中更大的价值。原创 2024-08-23 15:12:24 · 715 阅读 · 0 评论 -
《数据资产管理核心技术与应用》读书笔记-第四章:数据质量的技术实现(一)
在数据资产管理中,除了元数据和数据血缘外,数据质量也是很重要的一个环节,如下图所示,数据质量通常是指在数据处理的整个生命周期中,能否始终保持数据的完整性、一致性、准确性、可靠性、及时性等,我们只有知道了数据的质量,才能在数据质量差的时候,能去改进数据。《数据资产管理核心技术与应用》读书笔记-第四章:数据质量的技术实现。不管是在数据仓库还是数据湖中,一开始我们都是不知道数据的质量情况的,需要通过一定的规则定期的到数据湖或者数据仓库中去采集数据的质量,这个规则是允许用户自己去进行配置的,通常的流程如下图所示。原创 2024-08-15 09:43:55 · 960 阅读 · 0 评论 -
《数据资产管理核心技术与应用》读书笔记-第三章:数据血缘
Hive 自身的血缘在其源码中主要通过org.apache.hadoop.hive.ql.hooks.LineageLogger.java 来输出,org.apache.hadoop.hive.ql.hooks.LineageLogger.java代码中主要处理的过程如下图所示,血缘主要通过edges(DAG图的流向)和vertices(DAG图的节点)来进行输出。在使用某张表的数据时,也能追溯到该表的原始数据表以及经过了哪些中间表的处理,数据的链路变得非常清晰,对数据的使用者来说,产生了极大的帮助。原创 2024-08-12 15:58:35 · 1049 阅读 · 0 评论 -
《数据资产管理核心技术与应用》读书笔记-第二章:元数据的采集与存储
所以Iceberg在底层通过架构设计时增加了元数据层这一设计来规避Hive数据仓库的不足,如下图所示,从图中可以看到Iceberg使用了两层设计来持久化数据,一层是元数据层,一层是数据层,在数据层中存储是Apache Parquet、Avro或ORC等格式的实际数据,在元数据层中可以有效地跟踪数据操作时删除了哪些文件和文件夹,然后扫描数据文件统计数据时,就可以确定特定查询时是否需要读取该文件以便提高查询的速度。提到Delta Lake 就不得提数据湖这个概念了,Delta Lake 是数据湖的一种。原创 2024-08-06 17:03:24 · 1177 阅读 · 0 评论 -
《数据资产管理核心技术与应用》读书笔记-第一章:认识数据资产
元数据管理:在前面已经提到,元数据是描述其他数据的数据,是数据资产管理的核心,如果没有元数据管理,用户在使用数据时,就不知道数据是什么、包含了什么信息,自己需要的数据在哪里等,只有做好了元数据的管理,才能让数据更容易被检索,才能让数据的使用者快速的找到自己需要的数据。主数据的管理可以进一步提高数据的价值,提升数据对业务的响应速度。加强数据治理:通常来说,数据治理是做好数据资产管理的核心,通过不断的建立和完善数据治理的流程和规范,明确数据管理的职责和分工,对数据做好分类和标记,让数据更方便的被查找。原创 2024-08-05 13:22:02 · 1515 阅读 · 0 评论