中国站长之家提供的免费企业自助建站平台，能否满足不同规模企业的建站需求？

中国站长之家,免费企业自助建站平台,ps培训班,网站自己制作了解如何为 Elasticsearch 创建自定义连接器以简化数据摄取过程。 作者#xff1a;JEDR BLASZYK Elasticsearch 拥有一个摄取工具库#xff0c;可以从多个来源获取数据。 但是#xff0c;有时你的数据源可能与 Elastic 现有的提取工具不兼容。 在这种情况下#xff0c;你可…了解如何为 Elasticsearch 创建自定义连接器以简化数据摄取过程。 作者JEDR BLASZYK Elasticsearch 拥有一个摄取工具库可以从多个来源获取数据。 但是有时你的数据源可能与 Elastic 现有的提取工具不兼容。 在这种情况下你可能需要创建自定义连接器以将数据与 Elasticsearch 连接。 在你的应用程序中使用 Elastic 连接器有多种原因。 例如你可能想要 将数据从自定义或遗留应用程序引入 Elasticsearch为你的组织数据引入语义搜索从 PDF、MS Office 文档等文件中提取文本内容使用 Kibana UI 管理你的数据源包括配置、过滤规则、设置定期同步计划规则你想要在自己的基础设施上部署 Elastic 连接器一些 Elastic 支持的连接器可作为 Elastic Cloud 中的本机连接器使用 用于创建定制连接器的开放代码框架 如果创建你自己的连接器是满足你需求的解决方案那么连接器框架将帮助你创建一个。 我们创建的框架是为了支持创建自定义连接器并帮助用户将独特的数据源连接到 Elasticsearch。 连接器的代码可在 GitHub 上找到并且我们有可以帮助你入门的文档。 该框架设计简单且高性能。 它旨在对开发人员友好因此它是开放代码且高度可定制的。 你创建的连接器可以在你自己的基础设施上进行自我管理。 目标是让开发人员能够轻松地将自己的数据源与 Elasticsearch 集成。 使用连接器框架之前你需要了解什么 该框架是用 async-python 编写的 有几门课程可以学习 async-python。 如果你需要推荐我们认为这个 LinkedIn 学习课程非常好但需要订阅。 我们喜欢的一个免费替代方案是这个。 为什么我们选择异步 Python 摄取受 IO 限制而非 CPU 限制因此从资源利用的角度构建连接器时异步编程是最佳方法。 在 I/O 密集型应用程序中大部分时间都花在等待外部资源上例如读取文件、发出网络请求或查询数据库。 在这些等待期间传统的同步代码会阻塞整个程序导致资源利用效率低下。 还有其他先决条件吗 这不是先决条件。 在开始之前绝对值得阅读《连接器开发人员指南》 希望你觉得这个有用。 使用连接器框架构建定制连接器 入门很容易。 在与框架相关的术语中我们将自定义连接器称为源。 我们通过创建一个新类来实现一个新的源该类的职责是将文档从自定义数据源发送到Elasticsearch。 作为一种可选的入门方式用户还可以查看此目录源 (directory source) 示例。 这是一个很好但基本的示例可以帮助你了解如何编写自定义连接器。 步骤概要 一旦你知道要为其创建连接器的自定义数据源以下是编写新源的步骤概述 在 connectors/sources 中添加模块或目录在 requirements.txt 中声明你的依赖项。 确保固定这些依赖项实现一个类该类实现 connectors.source.BaseDataSource 中描述的方法可选在为 repo 做出贡献时在 connectors/sources/tests 中添加单元测试覆盖率 90%在源部分声明你的连接器 connectors/config.py就是这样。 我们完成了 现在你应该能够运行连接器 在编写定制连接器之前你需要了解什么 为了使 Elasticsearch 用户能够获取数据并在该数据的基础上构建搜索体验我们提供了一个轻量级的连接器协议。 该协议允许用户轻松获取数据、使用企业搜索功能来操作该数据并创建搜索体验同时在 Kibana 中为他们提供无缝的用户体验。 为了与企业搜索兼容并充分利用 Kibana 中提供的连接器功能连接器必须遵守该协议。 关于连接器协议你需要了解的内容 该文档页面提供了该协议的良好概述。 以下是你需要了解的内容 连接器和系统其他部分之间的所有通信都通过 Elasticsearch 索引异步进行连接器将其状态传达给 Elasticsearch 和 Kibana以便用户可以为其提供配置并诊断任何问题这允许简单、开发人员友好的连接器部署。