如何配置Spark3.0.1在YARN集群模式下的详细日志？

对于spark前来围观的小伙伴应该都有所了解，也是现在比较流行的计算框架，基本上是有点规模的公司标配，所以如果有时间也可以补一下短板。 简单来说Spark作为准实时大数据计算引擎，Spark的运行需要依赖资源调度和任务管理，Spark自带了standalone模式资源调度和任务管理工具，运行在其他资源管理和任务调度平台上，如Yarn、Mesos、Kubernates容器等。 spark的搭建和Hadoop差不多，稍微简单点，本文针对下面几种部署方式进行详细描述： Local：多用于本地测试，如在eclipse，idea中写程序测试等。 Standalone：Standalone是Spark自带的一个资源调度框架，它支持完全分布式。 Yarn：Hadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。 了解一个框架最直接的方式首先要拿来玩玩，玩之前要先搭建，废话少说，进入正题，搭建spark集群。