如何有效使用ELK日志收集分析工具进行数据分析？

网建2026-03-14 03:362阅读
摘要：@目录1、工作当中日志的重要性2、日志收集的工具有那些Solr与es的对比与选型ElasticSearch vs Solr总结3、elk简单介绍4、倒排查询原理5、数据的分类6、es用户场景Elasticsearch简介7、部署es的方法8

@

目录
    • 1、工作当中日志的重要性
    • 2、日志收集的工具有那些
      • Solr与es的对比与选型
        • ElasticSearch vs Solr总结
    • 3、elk简单介绍
    • 4、倒排查询原理
    • 5、数据的分类
    • 6、es用户场景
      • Elasticsearch简介
    • 7、部署es的方法
    • 8、和es交互的方式
      • 8.1、了解概念
      • ES常用的数据类型可分为3大类
  • 核心数据类型
      • 8.2、使用命令行的方式和es交互
      • 8.3、使用插件head和es交互
      • 8.4、使用nodejs方式来部署head插件

1、工作当中日志的重要性

1、分析日志来判断系统运行的状态是否正常
2、分析日志来判断程序是否有bug存在
3、分析日志来监控web服务器的流量，页面的响应时间超过1s
4、分析日志来优化数据库的慢查询语句
5、根据用户访问情况针对业务侧进行不断完善
。。。。

2、日志收集的工具有那些

1、日志易（收费）
2、splunk（国外的软件，按流量收费）
3、elk/efk工具
elasticsearch+logstash+kibana  elk
elasticsearch+filebeat+kibana  efk
4、Solr
Solr与es的对比与选型

在底层应用都是属于Lucene，在应用范围上包括淘宝电商、百度、github等，
Solr是Apach基金会下的一个顶级的开源项目,采用java开发,,他是基于Lucene的全文搜索服务器,Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置,可拓展,并对索引进行了优化
Solr可以独立运行，运行在etty、Tomcat等这些Servlet容器中，Solr索引的实现方法很简单，用POST方法向Solr服务器发送一个描述Field及其内容的XML文档，Solr根据xml文档添加、删除、更新索引。 Solr搜索只需要发送HTTP GET请求，然后对Solr返回Xml、json等格式的查询结果进行解析，组织页面布局。Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。
Solr是基于lucene开发企业级搜索服务器，实际上就是封装了lucene。
Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的APl接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的文件，生成索引;也可以通过提出查找请求，并得到返回结果。

阅读全文
标签：

相关推荐