专题：Flink
共42篇相关文章
如何从零开始用Flink实现TopN榜单？
围绕 Flink SQL 的窗口聚合（TUMBLEHOPSESSION、Window TVF、事件时间与 Watermark）与实时 TopN（ROW_NUMBERRANK），给出可直接运行的 Kafka + SQL...
赵渝强老师讲解的Hudi大数据湖仓一体架构是怎样的？
Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upsertsdelete...
Flink如何解决clickhouse-jdbc与flink-connector jar冲突导致的YARN资源请求和akka连接问题？
一、问题现象，使用flink on yarn 模式，写入数据到clickhouse，但是在yarn 集群充足的情况下一直报：Deployment took more than 60 seconds. Please check if the...
Flink如何从Kafka读取数据并写入Hive表？
1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https:nightlies.apache....
纯钧chunjun的http-x插件如何修复问题？
简介 chunjun是一款基于flink的开源数据同步工具，官方文档，其提供了很多flink官方未提供的插件供大家来使用，特别是达梦插件在国产化环境中很方便！ 本次介绍的是chunjun中的一款http插件，通过该插件可以实现基于http请...
如何用Elasticsearch按经纬度范围查询？
elasticsearch存储经纬度且按照范围进行查询 背景: 我在客户那边有很多舆情事件数据，数据里面包含的是有经纬度的，项目需求是用户在系统中输入一个地址，系统就可以查询到该地址100米 500米 1000米范围内的事件信息，当然了还可...
如何排查基于chunjun纯钧的增量数据同步问题？
基于chunjun纯钧的增量数据同步 目前我司的大数据平台使用的是flink技术栈，底层的连接器插件使用的是国产的chunjun插件，在使用chunjun的过程中也遇到了很多问题，本次记录下在SQL模式的情况下怎么支持增量的数据同步 chu...
Apache SeaTunnel Zeta、Flink、Spark，底层原理实战对比，怎么选？
本文档将深入解析 Apache SeaTunnel 支持的三大执行引擎：Zeta (SeaTunnel Engine)、Flink 和 Spark。我们将从架构设计、核心特性、优缺点对比以及使用方法等多个维度进行详细讲解，帮助你根据业务需求...
如何从零起步，踏上Flink实时计算的魔法之旅？
本文介绍了大数据的核心特征与技术演进，并深入剖析了Apache Flink作为实时计算引擎的三大核心优势：时间管理（Watermark机制）、状态管理（算子状态与键控状态）以及容错机制（精确一次语义）。通过对比批处理与流处理架构，展示了Fl...
如何将Hive大数据系统应用于分析？
1.概述 在构建大数据分析系统的过程中，我们面对着海量、多源的数据挑战，如何有效地解决这些零散数据的分析问题一直是大数据领域研究的核心关注点。大数据分析处理平台作为应对这一挑战的利器，致力于整合当前主流的各种大数据处理分析框架和工具，以实现...
如何从零起步，踏上Flink实时计算的魔法之旅？
本文介绍了大数据的核心特征与技术演进，并深入剖析了Apache Flink作为实时计算引擎的三大核心优势：时间管理（Watermark机制）、状态管理（算子状态与键控状态）以及容错机制（精确一次语义）。通过对比批处理与流处理架构，展示了Fl...
Flink实时计算入门，如何揭开神秘面纱？
传统批处理（如Hadoop）像老式火车，必须等所有乘客（数据）到齐才能发车；而流处理（如Flink）如同磁悬浮列车，每个乘客（数据）上车即刻出发。Flink的诞生，让数据从'考古材料'变为...
如何从零开始用Flink处理数据源？
在实时数据处理场景中，数据源（Source）是整个数据处理流程的起点。Flink作为流批一体的计算框架，提供了丰富的Source接口支持，其中通过Kafka获取实时数据是最常见的场景之一。本文将以Flink DataStream API为核...
如何从零开始掌握Flink，精通数据转换的艺术？
本文介绍了Flink数据转换的核心操作，包括基本转换（Map、Filter、FlatMap）和键控转换（KeyBy、Reduce、Aggregate）。基于Kafka数据源环境，演示了如何使用Flink DataStream API实现数据...
如何从零开始掌握Flink数据输出的所有技巧？
本文详细介绍了Flink数据输出(Sink)的核心概念、各种连接器的使用方法、配置选项及可靠性保证机制。基于Flink 1.20.1的DataStream API，通过丰富的代码示例展示了如何将处理后的数据输出到Kafka、Elastics...