《数据资产管理核心技术与应用》第六章中，数据监控与告警有哪些关键技术？

《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 关注清哥聊技术公众号，了解更多技术文章 图书介绍：数据资产管理核心技术与应用 今天主要是给大家分享一下第六章的内容： 第六章的标题为数据监控与告警->关注清哥聊技术公众号，了解更多技术文章 在数据资产管理中，数据监控与告警和数据质量通常是同等的重要，在采集到质量的数据后，不仅需要对质量的数据进行监控，而且当数据质量低于一定的阈值时，还需要主动进行告警通知到对应的数据管理员进行及时处理。然而数据监控与告警不仅体现在数据质量上，还体现在数据链路、数据任务、数据服务、数据处理资源等很多监控中。数据监控不仅能够及时告警发现问题，还可以在定位问题时，通过监控数据来追踪问题。 数据质量：监控数据的准确性、完整性、一致性、可靠性等，当数据质量低于阈值时，及时触发告警。 数据链路：监控数据的实时链路和T+1链路，比如当数据链路出现中断时，立即触发告警，通知对应的数据开发和相关运维人员进行干预处理。 数据任务：数据处理的任务一般包括实时任务和离线任务两种，比如当实时任务运行停止或者报错时也或者是离线任务运行失败时，发送告警通知到相关的数据开发和运维人员进行问题定位处理。 数据服务：数据服务是提供数据使用的最常见的方式之一，通过对数据服务的监控以及当数据服务出现问题时及时告警通知，可以很大程度的提高数据服务的稳定性。 数据处理资源：数据任务的处理需要服务器资源、存储资源、网络资源等很多硬件资源，如果硬件资源出现瓶颈了而我们自己却不知道，那么势必会影响数据处理的速度和及时性，所以需要对这些硬件资源进行监控，比如服务器的CPU、内存资源不够用时，也或者是数据存储资源不够时，需要及时告警通知运维人员进行扩容或者别的干预处理。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 内容思维导图如下： 一、 数据监控与告警的技术实现 监控与告警 其实不止是发生在数据资产管理中，在传统的IT运维和软件系统的维护中，都会存在监控与告警。监控一般是指以时序的方式去轮询采集待监控目标的相关数据，然后存储在合适的介质中，通过监控系统将这些采集到的监控数据进行简单的指标处理，然后从监控的视角展示出来的一种方式，如下图所示。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 告警是指在监控的基础上，通过配置阈值，当监控的数据指标满足阈值的条件时，主动推送消息通知给对应的接收人员，如下图所示。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 监控数据一般具有如下特点： 数据只做插入，基本不会存在数据的修改更新，就像日志数据一样，因为采集到的监控数据通常是根据时间时序变化的，并且在某一个时刻的数据是固定不会发生变化的。 数据量大，因为监控数据一般都是秒级进行采集的，所以随着时间的日积月累，数据量会越来越大。 数据不需要长期存储，比如1年前的监控数据，通常已经不存在太大的价值，可以对这些历史监控数据进行归档或者让数据自动过期删除以节省存储成本。 数据查询时需要快速查询并且一般是根据时间范围来进行时序查询，通常只会做一些简单的指标聚合操作（比如查询最新数据、平均值、最大值、最小值等），不会存在太复杂的指标运算，所以不会消耗很大的CPU计算资源。 写多读少，这点很容易理解，因为监控数据只是在监控时查询使用，并不会存在大量的查询场景和大量的并发查询，而监控数据需要按照时间序列持续的进行采集，所以会持续的存在大量的数据写入。 通常是数据顺序读取，一般是在指定查询的时间范围内读取一段连续的数据。 基于以上特点，监控数据一般最适合存储在时序数据库中，因为时序数据库通常具有如下特征： 列式存储，数据易压缩，可以缩小存储成本。 支持自动删除历史过期数据，不需要人工进行删除和干预。 支持水平扩展和数据分片，因为单节点存储数据或者查询和写入数据时，容易存在瓶颈。 高写入性能，比如支持批量写入提交，但是通常不支持数据更新。 支持针对时间序列类型的数据的高效便捷查询，能够快速地检索出指定时间范围内的数据，并且还支持聚合查询和时序分析等各种复杂的查询。