Hadoop 分布式平台安装过程心得

Hadoop 分布式平台安装过程心得

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

目录

文章目录

前言

一、VMware和相关辅助软件的安装

二、创建第一个虚拟机Hadoop100

1.创建虚拟机，首先需要下载一个系统

2.创建虚拟机

3.配置虚拟机

4.配置网络和IP地址

5.配置主机名称，

6.XShell远程访问工具的连接

7.最后完善虚拟模板机

8.克隆虚拟机

9.安装JDK

---

---

前言

本文主要是记录了从安装VMware到配置Hadoop计算机集群配置的过程，整个安装配置的过程是跟随尚硅谷做的，感谢！！！！

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、VMware和相关辅助软件的安装

首先从官网下载了VMware，进行安装，安装过程比较傻瓜式，不再赘述，但是安装完成后显示的页面并不是完全的功能，需要提供激活码，网上有资源，用于学习的话可以采用，此步骤是比较简单的。

接下来安装了xshell和xftp，这两个主要是用于远程控制的工具，安装的过程比较简单，属于傻瓜引导式，同不再赘述。

二、创建第一个虚拟机Hadoop100 1.创建虚拟机，首先需要下载一个系统

这是我的电脑中下载好的系统，存放位置记录一下，以免以后忘记了。

2.创建虚拟机

首先打开VMware，点击创建虚拟机，然后根据引导往后点击，该过程需要注意的是：

1、在选择系统的时候，选择最后一个，稍后配置

修改安装的位置

 

 

2、在对整个虚拟机的处理器和运行内存的分配中，需要注意的是要量力而行，若电脑的配置不行，不能够采用网上教程中的高配置，电脑带不动（第一次直接分配了4g运行内存，和4核心处理器，所以直接运行该虚拟机的时候，电脑出现运行内存空间利用率达到90%的情况。）。并且给虚拟机分配内存的时候要选择50g，以免后面不够用。

3、在创建虚拟机的时候第一台一般名字叫100，但是不能叫101，因为约定俗称，后面101有别的用处，不能被这样占用了。

4、最后要对虚拟机的设置进行更改，将镜像文件映射。

3.配置虚拟机

首先配置硬件：时间和地区都是比较容易的过程

其次选择安装的是桌面版,对于新手而言，桌面版比较友好。

然年是磁盘配置

选择我要配置分区，也可以选择自动配置

选择我要配置分区分为三个区

/boot 1g   这分区中要对文件系统格式进行更改

/swap 8g

/41g

最后点击完成后选择确认并更改

网络和主机命要进行更改，将以太网的开关打开，然后将主机名称改为hadoop100

点击开始安装，在安装的过程中将root密码进行设置，我设置的是123123123，根据你个人的习惯设置，简单就好，没必要复杂，设置完成后需要点击两下完成。

若在此步没有创建用户，那就会出现一个问题，你的用户的密码会被要求设置很复杂，就不能和root的密码一样了

4.配置网络和IP地址

首先在VMware中选择编辑----->选择虚拟网络编辑器------->选择下面的以太网并点击更改设置------>然后选择NAT、主机连接、更改IP地址点击确定

接下来修改win10的配置：

设置----->网络------>以太网------>网络适配器------>选择ipv4，双击后

---

按照如图配置 

接下来进入虚拟机

打开终端，使用su root 命令进入root用户

 使用vim /etc/sysconfig/network-scripts/ifcfg-ens33命令进入编辑器

将bootrporoto改为static

然后在后面添加：

IPADDR =192.168.10.100

GATEWAY = 192.168.10.2

DNS1 = 192.168.10.2

5.配置主机名称，

        1、使用vim /etc/hostname命令进入编辑器。

        2、将IP地址与主机名称进行映射：

                        使用vim /etc/hosts命令，将下图中的映射关系添加

                        

reboot重启

6.XShell远程访问工具的连接

安装过程比较简单

但是在连接虚拟机的时候出现了问题，d出ssh拒绝

网上找的方法没有解决我的问题，但是我通过将用户名设置为root密码为root密码就登录进去了

下面需要设置一些参数

这里是路径，

打开里面的hosts

 

将这些内容写入最后

若win10没有开放更改权限，那就需要将文件拷贝出来，写完再放进去

7.最后完善虚拟模板机

首先需要确保网络连接，可以通过ping www.baidu.com

其次安装epel-release；这是红帽系的 *** 作系统提供的额外的软件包适用于RHEL、CentOS等，相当于是一个软件仓库

通过使用yum install - y epel-release

安装过程中如果出现进程号被占用的情况就使用kill -9 进程号

来杀死进程

若安装的是最小版本，那就需要安装yum install -y vim     等工具

接下来需要关闭防火墙，关闭防火墙开机自启

使用命令：

systemctl stop firewalld

systemctl disable firewalld.service

在配置远程访问工具的过程中，由于我的虚拟机配置反反复复，导致我使用XShell远程控制hadoop100的时候不能连接，会报错，ssh拒绝……，将网上的方法反反复复试了很多次，最后发现了192.168.10.100：22是没有监听的，刚开始以为是端口号的问题，以为是ssh的问题，按照网上的方法设置了一通后还是不行，XShell使用root账号密码可以登录，但是使用自己设置的用户密码不能登录，最后发现原来我在修改用户名的时候我只是修改了用户昵称，没有修改用户名

如果要修改用户名，需要再重新建立一个用户，在新建立的用户的终端使用useradd 命令进行新建，希望以后再也不用遇到这个问题了。

对用户权限进行设置

命令vim /etc/sudoers

在/opt文件夹下创建文件夹，并修改所属用户和组

su root

cd /opt

mkdir /module

mkdir /software

 改变所属组

chown hadoop100:hadoop100 module/ software/

 

 卸载对应的jdk

首先查看是否安装了jdk

rpm -qa | grep -i java

逐行删除

rpm -qa | grep -i java | xags -n1 rpm -e --nodeps

 然后重启

8.克隆虚拟机

Hadoop101是留给伪分布式

102-104式完全分布式

101还可以用来做源码的编译

克隆虚拟机的时候要将虚拟机关机，然后完全克隆

克隆完毕后需要对102---104进行ip地址设置和主机名称配置

重启之后测试一下网络和主机名称

9.安装JDK

进入opt文件夹，再进入software，将jdk和Hadoop上传，使用Xftp上传。

使用的是尚硅谷给的资料包里的jdk，安装过程都在尚硅谷的包里。

总结

感谢尚硅谷！！！！！安装过程这里不再赘述了，下一篇笔记将开始写一些知识相关的总结。