《数据资产管理核心技术与应用》第五章：数据服务，有哪些核心技术与应用？

《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 图书介绍：数据资产管理核心技术与应用 今天主要是给大家分享一下第五章的内容： 第五章的标题为数据服务->关注清哥聊技术公众号，了解更多技术文章 内容思维导图如下： 在数据资产中，数据服务是对外提供使用和访问的一种最重要的形式，数据只有提供对外的访问，才能体现其自身的价值。而且有了数据服务后也可以降低外部业务或者用户使用数据的门槛，对于用户来说提供了如下的便利。 不需要用户自己花时间从数据资产中去检索数据。 不要用户自己考虑怎么来获取自己已经检索到的数据。 不需要考虑获取数据时的网络安全等问题。 数据服务可以复用于多个用户和业务。 用户不需要关注技术细节，可以专注于数据服务的具体需求。 另外数据质量以及数据的监控与告警，会直接决定数据服务的质量，因为如果数据质量低下以及数据在存在问题时不能及时得到监控与告警，这样数据服务被用户访问时，就无法获取到准确的数据。 《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 1、如何设计数据服务 在传统的API接口服务中，通常会面临如下的一些问题： 一个普通的接口服务通常需要数据ETL开发工程师按照数据产品经理提供的业务逻辑进行数据处理加工得到最终的结果数据，然后再由后端开发工程师开发接口服务，并且输出接口服务的文档，之后再让业务通过接口来获取最终的结果数据。由于经过的环节很多，导致时间周期一般需要很长，如下图所示。 当业务众多时，对外输出的数据接口服务势必也会很多，随着人员的交替、数据需求逻辑的变更等，数据服务的管理会非常困难，需要维护的接口数量越来越多，运维成本非常大。 通常在时间久了后，由于业务方以及数据服务开发和运维人员的交替，会遇到每个数据服务有哪些业务在调用、每个业务的调用量有多少、数据服务在变更和升级时，需要通知到哪些业务等众多繁琐的问题。 所以数据服务的设计非常的重要，在设计时，通常需要考虑如下问题：《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 数据服务的敏捷化和可配置化：敏捷化是指数据服务可以随着业务需求的变化，能快速的进行修改和变更。可配置化是指数据服务不需要使用太多的代码开发，而是根据配置SQL查询逻辑、配置请求的入参和响应报文，就能快速生成一个对外使用的数据服务。 数据服务API文档可自动生成：能根据数据服务的请求入参和响应报文，自动生成API文档，不需要后端开发工程师每次手动进行编写，而且手动编写文档还极易出错，并且每次变更时都需要及时更新和维护。 数据服务的流程化管理：流程化管理是指可以在一个平台上完成数据服务调用的申请、审批、开发、上线、监控、告警等环节，方便数据服务的运维与管理。 数据服务的统一鉴权设计：所有的数据服务采用相同的统一鉴权方式，方便以后的运维和管理。 数据服务的性能以及熔断：性能是数据服务最重要的一项指标，因为如果性能不达标的话，那就无法满足业务的查询要求。熔断是指当数据服务的调用量过大或者发生了大量异常时，为了保护数据服务的整体稳定性，而触发的一种降级机制。 数据服务的监控与告警：数据服务在发生问题时，能通过监控与告警及时让运维或者开发人员进行处理，降低数据服务的问题给业务带来的影响。数据服务如果自身没有监控与告警，在发生问题时，可能就需要通过业务使用时主动来报出服务不可用的问题。 为了解决上述的问题，在大数据资产中，一般建议对数据服务进行平台化设计。开发一个数据服务API 通常的流程如下图所示。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 上述的这些流程，在做数据服务的平台化设计时，都可以考虑进去，这样通过平台化的管理，就可以达到数据服务的敏捷化开发以及开发时可以基于平台快速配置来生成外部访问需要的数据服务节省人力的成本开销以及缩短开发的周期。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著 在平台化的统一管理下，自然就可以在创建数据服务或者变更数据服务时，自动来生成API文档。也可以对数据服务进行统一的鉴权以及监控与告警。