Centos7 Hadoop3.1 集群安装

Centos7 Hadoop3.1 集群安装 jdk已安装好

Centos7安装jdk1.8_Atraceofviciss的博客-CSDN博客

配置主机名称 

vim /etc/hosts

关闭防火墙

systemctl status firewalld  //防火墙状态
systemctl stop firewalld  //关闭
systemctl disable firewalld  //永久关闭
iptables -I INPUT -p tcp --dport 9870 -j ACCEPT //打开指定端口
iptables -I INPUT -p tcp --dport 9870 -j DROP //关闭指定端口
service iptables save //保存配置
service iptables restart //重启防火墙

配置网卡

仅主机模式：VMware network 1

将主机网卡分享给network 1

 设置network 1 的IP地址

 配置虚拟机网络 vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=static

onBOOT=yes

IPADDR=要设置的IP地址

GATEWAY=网关

要上网DNS得有

 配置完成

ssh免密登录

生成公私钥

ssh-keygen -t rsa

拷贝到本机其他机器

ssh-copy-id -i ~/.ssh/id_rsa.pub root@（ip地址）

安装hadoop

将JAVA_HOME配置到hadoop-env.sh/yarn-env.sh

export JAVA_HOME=/java/jdk1.8.0_271

配置core-site.xml：(xxx:主机名称)

    
        
        fs.default.name  
        hdfs://xxx:9000  
        
        
        hadoop.tmp.dir  
        /hadoop/tmp  
        
     

配置hdfs-site.xml

      
        dfs.replication
        2
      
      
        dfs.namenode.name.dir
        file:/hadoop/dfs/name    
      
      
        dfs.datanode.data.dir
        file:/hadoop/dfs/data    
       

配置mapred-site.xml

      
        mapreduce.framework.name
        yarn
      
     
        mapred.job.tracker.http.address
        root1:50030
     
     
        mapred.task.tracker.http.address
        root1:50060
     
      
        mapreduce.jobhistory.address
        xxx:10020
      
      
        mapreduce.jobhistory.webapp.address
        xxx:19888  
       

配置yarn-site.xml

     
        yarn.nodemanager.aux-services
        mapreduce_shuffle
      
      
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
      
        
        yarn.resourcemanager.address  
        xxx:8032  
        
        
    yarn.resourcemanager.scheduler.address  
        xxx:8030
      
      
        yarn.resourcemanager.resource-tracker.address
        xxx:8031
      
      
        yarn.resourcemanager.admin.address
        xxx:8033
      
      
        yarn.resourcemanager.webapp.address
        xxx:8088
      
     
        yarn.log-aggregation-enable
        true
    

配置workers：

节点主机名称或IP

分发给其他节点：

scp -r /opt/hadoop slave1:/opt/hadoop

初始化

bin/hdfs namenode -format

启动报：未指定HDFS_NAMENODE_USER：vim hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

启动
全部启动sbin/start-all.sh （sbin/start-dfs.sh、sbin/start-yarn.sh）

启动历史记录：mapred --daemon start historyserver
终止服务器：sbin/stop-all.sh

查看进程
jps

netstat -apn

hadoop3.0以上，管理界面端口改变端口

[hadoop]:9870

[yarn]:8088

[JobHistory]:19888

配置hadoop环境变量 vim /etc/profile   生效：source /etc/profile

export HADOOP_HOME=/hadoop/hadoop-3.1.3
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native