专题:kafka
共21篇相关文章

Apache Kafka 的基本概念是什么?
基本概念 主题 Topic topic 是 Kafka 最基础的组织单位,类似于关系数据库中的数据表。做为使用 kafka 的开发者,你最应该考虑的是和 topic 相关的抽象。创建不同的 topic 保存不同种类的 events,或者通过...

如何从零开始理解Kafka的位移与高水位概念?
还记得上一篇文章最后的问题吗,什么是 LEO(Log End Offset)?它其实是 Kafka 位移相关的一个核心概念,本文我们就从位移开始,把相关的概念理清楚。...

如何分享个人使用Kafka的经验和心得?
## 前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验,内容非常多,包含了kafka的常用命令,在生产环境中遇到的一些场景处理,kafka的一些web工具推荐等等。由于kafka这块的记录以及经验是从我刚开始使用kafka...

Kafka副本集的设置与理解,有哪些细节需要注意?
转载请注明出处: 最近在做集群高可用验证的时候,遇到了一个kafka 副本集高可用的问题,在这里分析总结一下。 当前的部署情况是kafka集群有三个节点;在做集群高可用验证的时候,先shutdown一个服务器实例之后,再验证服务相关的高可用...

Kafka副本机制是如何运作的?
前面我们了解了 Kafka 的数据是如何存储的,今天我们来学习 Kafka 中另外一个重要的概念:副本。...

为什么Kafka在处理大数据时速度如此之快?
Kafka之所以能实现百万级TPS、低延迟、高吞吐,核心是一套自底向上、协同优化的架构设计:顺序写+PageCache+零拷贝+批量+压缩+分区&am...

在Kafka中,消息重复是一个常见的问题,可能由多种原因引起,比如生产者端的问题、消费者端的问题或者Kafka集群本身的问题。以下是一些可能导致消息重复的原因以及相应的解决方法:### 生产者端原因1. **幂等性设置不正确**:确保生产者配置了幂等性(e
这是 Kafka 面试必问 + 生产必踩的核心问题,我用最清晰、最落地的方式讲透:为什么会丢消息重复?怎么彻底解决? 一、先明确核心结论 Kafka 本身不保证绝对不丢、绝对不重复,它只保证 At-Least-Once(...

赵渝强老师讲解的Hudi大数据湖仓一体架构是怎样的?
Apache Hudi(Hadoop Upserts Delete and Incremental)是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upsertsdelete...

如何获取KafkaConsumer的lag、endOffsets、beginningOffsets?
一、java获取kafka consumer lag、endOffsets、beginningOffsets -> 关注清哥聊技术公众号,了解更多技术文章 maven依赖: <dependency...

如何通过SASLSCRAM让Kafka实现动态授权认证?
一、说明 在大数据处理和分析中 Apache Kafka 已经成为了一个核心组件。然而在生产环境中部署 Kafka 时,安全性是一个必须要考虑的重要因素。SASL(简单认证与安全层)和 SCRAM(基于密码的认证机制的盐化挑战响应认证机制)...

如何将Spring Boot基于SCRAM认证与Kafka集成实现详细步骤?
在本篇文章中,我们将探讨如何在Spring Boot应用中集成Kafka并使用SCRAM认证机制进行安全连接;并实现动态创建账号、ACL 权限、Topic,以及生产者和消费者等操作。...
![[db:标题]](/view/img/nopic.png)
[db:标题]
前言 根据个人的经历,无论在工作中,还是即将要经历的面试,MQ这部分是肯定要了解的,虽然之前工作中一直使用Kafka但是一些详细的细节知识还是了解的不深,所以这次总结一波。 Kafka为什么吞吐量这么大还能这么快(高吞吐&a...
![[db:标题]](/view/img/nopic.png)
[db:标题]
前言 上一篇文章总结了kafka为什么快,下面来总结一下,kafka高频的常见的问题。内容有点多,全部看完需要有一定的耐心。 kafka如何保证消息不丢失 Producer端 要保证消息不丢失,第一点要做的就是要保证消息从producer端...

如何深入理解【架构师系列】Kafka原理分析之基础篇?
原创文章,转载请标注。https:www.cnblogs.comboyceleep14728638.html 一、Kafka二、解决问题异步处理应用解耦流量削峰三、特性读写效率网络传输并发能力持久化能力可靠性水平扩展四、基本概念消...

EFAK-AI作为Kafka监控工具,其功能特点和应用场景有哪些?
1.概述 在大数据与人工智能深度融合的新时代,Apache Kafka 已成为企业实时数据流处理的核心引擎。然而,随着业务规模的不断扩大,Kafka 集群的监控与运维复杂度也随之攀升——指标繁多、延迟难察、告警频繁,传统监控手段难以快速定位...
