如何利用Grafana和Prometheus构建高效数据监控与告警系统?

摘要:《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。第2~8章主要介绍大数据时代数据资产管理所涉及的核心技术,内容包括元数据的采集与
《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。第2~8章主要介绍大数据时代数据资产管理所涉及的核心技术,内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9~10章主要从实战的角度介绍数据资产管理技术的应用实践,包括如何对元数据进行管理以发挥出数据资产的更大潜力,以及如何对数据进行建模以挖掘出数据中更大的价值。 关注清哥聊技术公众号,了解更多技术文章 图书介绍:数据资产管理核心技术与应用 今天主要是给大家分享一下第六章的第二节的内容: 第六章的标题为数据监控与告警->关注清哥聊技术公众号,了解更多技术文章 本次分享紧接着上次的内容继续《数据资产管理核心技术与应用》读书笔记- 第六章-数据监控与告警(一) 《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,作者为张永清等著 内容思维导图如下: 二、如何使用Grafana和Prometheus来实现数据监控与告警 1、Prometheus Prometheus是一个开源的系统监控和告警监控工具包,其作为一个非常流行的开源项目工程在社区有众多活跃的开发人员和用户人员,该项目工程在2016年加入Cloud Native Computing Foundation(云原生计算基金会),成为旗下的开源项目,其官方网址为:https://prometheus.io,如下图5-2-1所示。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,作者为张永清等著    图5-2-1 Prometheus的源码是托管在Github中,其Github的源码网址为:https://github.com/prometheus,如下图5-2-2所示,从源码中可以看到Prometheus的核心开发语言是Go,Go是由Google开发的一种编译型语言,Go语言的性能非常好,非常适合直接运行于硬件设备之上。 图5-2-2 Prometheus 主要用于采集数据指标,并且以时间序列的方式来存储采集到的数据,如下图5-2-3所示为Prometheus官网提供的技术实现架构图。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,作者为张永清等著 图5-2-3 从图中可以看到Prometheus除了其核心的Prometheus Server外,还包含了数据采集工具和告警管理工具,比如图中的Pushgateway和Exporters 就是用来做数据采集使用的,而Alertmanager 就是用来做告警规则配置和告警消息通知的,图中各个核心组件的相关介绍如下。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,作者为张永清等著 Jobs/Exporters: 监控数据采集的工具,一般需要独立部署,如下图5-2-4所示,主要负责采集数据,并且提供数据访问服务给Prometheus Server来主动拉取数据。 图5-2-4 访问Prometheus的官方网址:https://prometheus.io/docs/instrumenting/exporters/ 可以获取到常见的Exporters,如下图5-2-5所示。 图5-2-5 Prometheus官方提供的常见的Exporters如下表5-2-1所示。
阅读全文