北京网站建设如何通过口碑营销提升品牌知名度?
摘要:北京网站建设询q479185700上快,口碑营销的策略,农业网站平台建设方案,xamp wordpress搭建Spark需要先配置好scala环境。三种Spark环境搭建互不关联,都是从零开始搭建。如果将文章中
北京网站建设询q479185700上快,口碑营销的策略,农业网站平台建设方案,xamp wordpress搭建Spark需要先配置好scala环境。三种Spark环境搭建互不关联#xff0c;都是从零开始搭建。如果将文章中的配置文件修改内容复制粘贴的话#xff0c;所有配置文件添加的内容后面的注释记得删除#xff0c;可能会报错。保险一点删除最好。Scala环境搭建上传安装包解压并重命…搭建Spark需要先配置好scala环境。三种Spark环境搭建互不关联都是从零开始搭建。如果将文章中的配置文件修改内容复制粘贴的话所有配置文件添加的内容后面的注释记得删除可能会报错。保险一点删除最好。Scala环境搭建上传安装包解压并重命名rz上传如果没有安装rz可以使用命令安装yum install -y lrzsz 这里我将scala解压到/opt/module目录下tar -zxvf /opt/tars/scala-2.12.0.tgz -C /opt/module重命名mv scala-2.12.0 scala2、vi /etc/profile 在最后添加export SCALA_HOME/opt/module/scalaexport PATH$PATH:$SCALA_HOME/bin刷新使文件生效source /etc/profile搭建单机伪分布式环境单机spark单机伪分布是在一台机器上既有Master又有Worker进程。spark单机伪分布式环境可以在hadoop伪分布式的基础上进行搭建上传安装包解压并重命名rz上传解压tar -zxvf /opt/tars/spark-3.1.1-bin-hadoop3.2.tgz -C /opt/module重命名mv spark-3.1.1-bin-hadoop3.2 spark进入spark/conf将spark-env.sh.template 重命名为spark-env.shcd /opt/module/spark/confmv spark-env.sh.template spark-env.sh打开spark-env.sh:vi spark-env.sh在末尾添加export JAVA_HOME/opt/module/jdk # java的安装路径export HADOOP_CONF_DIR/opt/module/hadoop/etc/hadoop # hadoop的安装路径export HADOOP_HOME/opt/module/hadoop # hadoop配置文件的路径export SPARK_MASTER_IPmaster # spark主节点的ip或机器名export SPARK_LOCAL_IPmaster # spark本地的ip或机器名4、vi /etc/profileexport SPARK_HOME/opt/module/sparkexport PATH$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin刷新source /etc/profile5、切换到/sbin目录下启动集群cd /opt/module/spark/sbin ./start-all.sh6、通过jps查看进程既有Master进程又有Worker进程搭建完全分布式环境搭建Spark完全分布式环境的前提是已经搭建好了hadoop完全分布式如果没有搭建hadoop完全分布式且不会搭建可以前往博主主页寻找hadoop完全分布式搭建的文章进行搭建。
