专题：kafka
共21篇相关文章
Apache Kafka 的基本概念是什么？
基本概念 主题 Topic topic 是 Kafka 最基础的组织单位，类似于关系数据库中的数据表。做为使用 kafka 的开发者，你最应该考虑的是和 topic 相关的抽象。创建不同的 topic 保存不同种类的 events，或者通过...
如何从零开始理解Kafka的位移与高水位概念？
还记得上一篇文章最后的问题吗，什么是 LEO（Log End Offset）？它其实是 Kafka 位移相关的一个核心概念，本文我们就从位移开始，把相关的概念理清楚。...
如何分享个人使用Kafka的经验和心得？
## 前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及经验是从我刚开始使用kafka...
Kafka副本集的设置与理解，有哪些细节需要注意？
转载请注明出处： 最近在做集群高可用验证的时候，遇到了一个kafka 副本集高可用的问题，在这里分析总结一下。 当前的部署情况是kafka集群有三个节点；在做集群高可用验证的时候，先shutdown一个服务器实例之后，再验证服务相关的高可用...
Kafka副本机制是如何运作的？
前面我们了解了 Kafka 的数据是如何存储的，今天我们来学习 Kafka 中另外一个重要的概念：副本。...
为什么Kafka在处理大数据时速度如此之快？
Kafka之所以能实现百万级TPS、低延迟、高吞吐，核心是一套自底向上、协同优化的架构设计：顺序写+PageCache+零拷贝+批量+压缩+分区&am...
在Kafka中，消息重复是一个常见的问题，可能由多种原因引起，比如生产者端的问题、消费者端的问题或者Kafka集群本身的问题。以下是一些可能导致消息重复的原因以及相应的解决方法：### 生产者端原因1. **幂等性设置不正确**：确保生产者配置了幂等性（e
这是 Kafka 面试必问 + 生产必踩的核心问题，我用最清晰、最落地的方式讲透：为什么会丢消息重复？怎么彻底解决？ 一、先明确核心结论 Kafka 本身不保证绝对不丢、绝对不重复，它只保证 At-Least-Once（...
赵渝强老师讲解的Hudi大数据湖仓一体架构是怎样的？
Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upsertsdelete...
如何获取KafkaConsumer的lag、endOffsets、beginningOffsets？
一、java获取kafka consumer lag、endOffsets、beginningOffsets -> 关注清哥聊技术公众号，了解更多技术文章 maven依赖： <dependency...
如何通过SASLSCRAM让Kafka实现动态授权认证？
一、说明 在大数据处理和分析中 Apache Kafka 已经成为了一个核心组件。然而在生产环境中部署 Kafka 时，安全性是一个必须要考虑的重要因素。SASL（简单认证与安全层）和 SCRAM（基于密码的认证机制的盐化挑战响应认证机制）...
如何将Spring Boot基于SCRAM认证与Kafka集成实现详细步骤？
在本篇文章中，我们将探讨如何在Spring Boot应用中集成Kafka并使用SCRAM认证机制进行安全连接；并实现动态创建账号、ACL 权限、Topic，以及生产者和消费者等操作。...
[db:标题]
前言 根据个人的经历，无论在工作中，还是即将要经历的面试，MQ这部分是肯定要了解的，虽然之前工作中一直使用Kafka但是一些详细的细节知识还是了解的不深，所以这次总结一波。 Kafka为什么吞吐量这么大还能这么快（高吞吐&a...
[db:标题]
前言 上一篇文章总结了kafka为什么快，下面来总结一下，kafka高频的常见的问题。内容有点多，全部看完需要有一定的耐心。 kafka如何保证消息不丢失 Producer端 要保证消息不丢失，第一点要做的就是要保证消息从producer端...
如何深入理解【架构师系列】Kafka原理分析之基础篇？
原创文章，转载请标注。https:www.cnblogs.comboyceleep14728638.html 一、Kafka二、解决问题异步处理应用解耦流量削峰三、特性读写效率网络传输并发能力持久化能力可靠性水平扩展四、基本概念消...
EFAK-AI作为Kafka监控工具，其功能特点和应用场景有哪些？
1.概述 在大数据与人工智能深度融合的新时代，Apache Kafka 已成为企业实时数据流处理的核心引擎。然而，随着业务规模的不断扩大，Kafka 集群的监控与运维复杂度也随之攀升——指标繁多、延迟难察、告警频繁，传统监控手段难以快速定位...