Spark Structured Streaming如何全面应用与优化?

摘要:一、spark structured-streaming 介绍 -> 关注清哥聊技术公众号,了解更多技术文章 我们都知道spark streaming 在v2.4.5 之后 就进入了维护阶段,
一、spark structured-streaming 介绍->关注清哥聊技术公众号,了解更多技术文章 我们都知道sparkstreaming 在v2.4.5 之后 就进入了维护阶段,不再有新的大版本出现,而且 sparkstreaming 一直是按照微批来处理streaming 数据的,只能做到准实时,无法像flink一样做到数据的实时数据处理。所以在sparkstreaming 进入到不再更新的维护阶段后,spark 推出了structured-streaming 来同flink 进行竞争,structured-streaming 支持窗口计算,watermark、state 等flink 一样的特性。
阅读全文