5.1 Spark的安装与使用

5.1 Spark的安装与使用

第一关 Scala语言开发环境的部署

        1.下载解压

        在Scala官网根据平台选择下载Scala的安装包scala-2.17.7.tgz        

        解压到/app目录下：

mkdir /app //创建 app 目录

cd /opt

tar -zxvf scala-2.12.7.tgz -C /app

educoder平台已经将解压包下载在/opt目录下了，就不需要再从网络下载了，只需要解压即可。 

        2.配置环境

        进入/etc/profile文件 

vim /etc/profile

        在文件末尾加入如下代码： 

 #set scala
SCALA_HOME=/app/scala-2.12.7
export PATH=$PATH:$SCALA_HOME/bin

         让刚才的配置生效：

source /etc/profile

        3.校验

        在命令行输入：scala -version，出现如下结果表示配置成功。

第二关 安装与配置Spark开发环境

        1.下载解压安装包

        从官网下载好安装包spark-2.2.2-bin-hadoop2.7.tgz

        educoder平台已经将spark安装包下载到/opt目录下了，所以不需要再下载了。

        将压缩包解压到/app目录下:

tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /app

        2.配置环境变量

        将spark的根目录配置到/etc/profile中（在文件末尾添加）。

vim /etc/profile

 #set spark environment
SPARK_HOME=/app/spark-2.2.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

        使刚才的配置生效：

source /etc/profile 

        3.配置Spark环境

        切换到conf目录下：

cd /app/spark-2.2.2-bin-hadoop2.7/conf

        使用命令复制spark-env.sh.template文件并重命名为spark-env.sh 

cp spark-env.sh.template spark-env.sh

        输入hostname命令获得机器名/主机名(等一下会用到)：

hostname

        接下来编辑spark-env.sh 

vim spark-env.sh

        在文件末尾添加如下配置： 

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export SCALA_HOME=/app/scala-2.12.7
export HADOOP_HOME=/usr/local/hadoop/
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=evassh-7930994 #这里填自己的主机名！！！   
export SPARK_LOCAL_IP=evassh-7930994

        保存并退出。 

        4.校验

        回到Spark的根目录：

cd ..

       输入命令./sbin/start-all.sh启动Spark

       使用jps命令查看是否启动成功，有woker和master节点代表启动成功。