Flink如何进行高效安装与全面部署?
摘要:1 概述:Flink 安装部署篇 1.0 前置知识 1.0.1 Flink 概述 Apache Flink 概述 - 博客园千千寰宇 1.0.2 Flink Demo Job Flink Demo Job : WordCount - 博客
1 概述:Flink 安装部署篇
1.0 前置知识
1.0.1 Flink 概述
Apache Flink 概述 - 博客园/千千寰宇
1.0.2 Flink Demo Job
Flink Demo Job : WordCount - 博客园/千千寰宇
1.1 Windows下安装 Flink 1.9.3
Step0 版本规划
未来欲使用Flink CDC必须使用Flink 1.12+、JDK1.8+;但支持Windows端运行的,目前仅Flink 1.9.x支持
Flink:
Flink
https://github.com/apache/flink
Flink CDC
https://github.com/ververica/flink-cdc-connectors
Flink 第三方社区
https://flink-learning.org.cn/
Step1 安装 JDK1.8(略)
验证安装情况
java -version
注:涉及对2个系统变量的配置:JAVA_HOME / PATH
推荐文献
[Java/Linux] Java JDK 的安装与卸载: CentOS 7 / Ubuntu 22 / Windows - 博客园/千千寰宇
Step2 下载并解压Flink安装包
下载链接
https://archive.apache.org/dist/flink/flink-1.14.2/flink-1.14.2-bin-scala_2.12.tgz
https://archive.apache.org/dist/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz
或 https://dlcdn.apache.org/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz
如果需要其他版本,可以在如下链接下载:
下载: https://archive.apache.org/dist/flink/
或 https://www.apache.org/dyn/closer.lua/flink/
https://dlcdn.apache.org/flink/
https://dlcdn.apache.org/flink/flink-1.15.0/
https://dlcdn.apache.org/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz
解压到:
D:\Program_Files\Flink\flink-1.15.0
Step3 配置系统变量 FLINK_HOME / PATH [可选步骤]
PATH
%FLINK_HOME%\bin\
Step4 运行 Flink Job
运行Flink的命令非常简单,只需要进入到解压目录的bin目录下,运行如下脚本即可。
D:
cd %FLINK_HOME%
.\bin\start-cluster.bat
小思考题:为什么要用管理员权限运行呢?
Step5 功能测验
推荐文献
[Flink] Flink Job之Web UI - 博客园/千千寰宇
Step5.1 Flink WEB-UI
Flink有个 UI 界面,可以用于监控Flilnk的job运行状态,已给出了具体链接。↓
http://localhost:8081/
Step5.2 运行Flink WordCount App/Job
运行自带的 WordCount 示例程序:
D:
cd %FLINK_HOME%
bin\flink.bat run examples\batch\WordCount.jar -input %FLINK_HOME%\README.txt -output %FLINK_HOME%\README_CountWord_Result.txt
Step5.3 查看运行状态和运行结果
Flink WEB-UI
结果文件
Y 推荐文献
Apache Flink 概述 - 博客园/千千寰宇
Apache Stream Park : 一站式的流处理计算开发运管平台 - 博客园/千千寰宇
X 参考文献
Flink基础系列3-windows安装Flink – CSDN
