数据服务（二）中，如何构建高效的数据服务架构？

《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 图书介绍：数据资产管理核心技术与应用 今天主要是给大家分享一下第五章的内容： 第五章的标题为数据服务->关注清哥聊技术公众号，了解更多技术文章 内容思维导图如下： 本文是接着 《数据资产管理核心技术与应用》读书笔记-第五章：数据服务(一) 继续往下讲。 1.5、 数据服务的监控与告警 在完成了数据服务的配置后，数据服务在调用时，还需要进行监控，在监控到发生故障时还需要支持自动发送告警通知信息，这样才能更好的保障数据服务的稳定性。在书中的数据监控与告警那一章节中，有提到数据服务的监控与告警的技术设计实现主要是通过异步采集数据服务的调用日志，然后再配合Prometheus与Grafana来完成，如下图所示。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 从图中可以看到数据服务的监控与告警的关键在于数据服务的日志数据采集，这就意味着数据服务在被调用时，需要输出日志，为了让数据服务的监控更加准确和细致，日志在设计时，通常建议包含如下表6中的常见字段。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 字段名称 字段描述 appId 被调用的数据服务的ID，这个ID代表了具体的某个数据服务的身份 requestArgs 调用数据服务时，传入的请求参数 cliendIp 数据服务平台端获取到请求方的IP地址 requestTime 请求方调用数据服务时的时间戳，通常建议精确到毫秒 receiveTime 数据服务平台端接收到请求的时间戳，通常建议精确到毫秒 responseTime 数据服务平台处理完请求后的响应给请求方结果时的时间戳，通常建议精确到毫秒 queryDataDuration 数据服务平台在查询数据过程中的耗时时长 responseMessage 数据服务平台处理完请求后响应给请求方的响应结果 exception 数据服务平台在处理请求的过程中发生的异常信息，如果没有异常时，该字段会保持为空 在输出日志时，可以通过JSON的格式，将表格中的字段都包含进去，然后再通过日志采集的方式采集到这些JSON日志后发送到消息队列中供数据处理程序做日志数据的解析，之后再发送到Prometheus的Pushgateway组件中。 常见的日志采集工具如下表所示。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 日志采集工具 描述以及下载与部署地址 Flume Apache基金会下的开源项目，使用Java语言实现的日志采集工具，Github地址为https://github.com/apache/logging-flume Logstash 基于Pipeline 实现的开源日志采集工具，Github地址为https://github.com/elastic/logstash Fluentd 基于C/Ruby实现的可插拔开源日志数据采集工具，Github地址为https://github.com/fluent/fluentd Splunk 非开源的商业性质的日志采集和处理以及存储工具，官方网址为http://www.splunk.com/ 在通过采集获取到JSON的日志数据后，经过对日志数据的加工处理后，通常可以生成如下的核心指标数据用于监控，如下图所示。 请求处理的耗时很长时，代表数据服务的处理很慢，此时需要检查是否是数据服务的处理能力或者服务器资源不够。 请求中网络的耗时很长时，很可能是网络的带宽不够或者网络经常性的出现了抖动等，需要对网络链路进行排查。 数据查询的耗时很长时，代表了查询数据库查询很慢，此时需要检查数据库中是否有慢查询或者是数据库的资源不够。