沈阳本地建站服务：如何通过WordPress实现专业网站设计与推广？

wordpress 本地建站,沈阳网站设计推广,在哪找专业做淘宝网站,wordpress文章页面模板1 Spark的部署方式介绍 ​ Spark部署模式分为Local模式#xff08;本地模式#xff09;和集群模式#xff08;集群模式又分为Standalone模式、Yarn模式和Mesos模式#xff09; 1.1 Local模式 Local模式常用于本地开发程序与测试#xff0c;如在idea中 1.2 Standalone模…1 Spark的部署方式介绍 ​ Spark部署模式分为Local模式本地模式和集群模式集群模式又分为Standalone模式、Yarn模式和Mesos模式 1.1 Local模式 Local模式常用于本地开发程序与测试如在idea中 1.2 Standalone模式 ​ Standalone模式被称为集群单机模式。Spark与Hadoop1.0版本有点类似Spark本身自带了完整的资源调度管理服务但这不是它的强项因为Spark主要是一个计算框架可以独立部署到集群中无须依赖任何其他的资源管理系统在该模式下Spark集群架构为主从模式即一台Master节点与多台Slave节点Slave节点启动的进程名称为Worker此时集群会存在单点故障。单点故障可利用Spark HA 与zookeeper解决 这种模式下 Driver 和 Worker 是启动在节点上的进程运行在JVM 中的进程 Driver 与集群节点之间有频繁的通信。Driver 负责任务task的分发和结果的回收 即任务的调度。如果task的计算结果非常大就不要回收了。会造成OOMWorker 是 Standalone 资源调度框架里面资源管理的从节点也是JVM进程 管理每个节点中的资源状态启动进程执行Task任务 Master 是 Standalone 资源调度框架里面资源管理的主节点也是JVM进程 管理所有资源状态 简单来说 ​ Master类似于 yarn的 RMDriver类似于 yarn的 AMApplicationMasterSlaves类似于 yarn的 NM ​ Worker、Master是常驻进程、Driver是当有任务来时才会启动 1.3 Yarn模式 ​ Yarn模式被称为 Spark on Yarn 模式即把Spark作为一个客户端将作业提交给Yarn服务由于在生产环境中很多时候要与Hadoop使用同一个集群因此采用Yarn来管理资源调度可以有效提高资源利用率 Yarn模式又分为Yarn Cluster模式、Yarn Client模式 Yarn Cluster用于生产环境所以的资源调度和计算都在集群上运行Yarn Client用于交互、调试环境 若要基于 yarn 来进行资源调度必须实现 ApplicationMaster 接口Spark 实现了这个接口所以可以基于 Yarn 来进行资源调度 1.4 Mesos模式 ​ Mesos模式被称为 Spark on Mesos 模式Mesos与Yarn同样是一款资源调度管理系统可以为Spark提供服务由于Spark与Mesos存在密切的关系因此在设计Spark框架时充分考虑到了对Mesos的集成但如果同时运行Hadoop和Spark从兼容性的角度来看Spark on Yarn是更好的选择。 1.5 小结 Spark作为一个数据处理框架和计算引擎被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn不过逐渐容器式环境也慢慢流行起来。