Hadoop环境配置（12）--flume环境配置

Hadoop环境配置（12）--flume环境配置 1、将下载的flume压缩包拉到/opt/software/文件夹下 安装包版本：apache-flume-1.9.0-bin.tar.gz

2、将安装包解压到/opt/module/文件夹中，命令：

cd /opt/software/
tar -zxvf 安装包名 -C /opt/module/

 3、修改系统环境变量，命令：

vi /etc/profile

在编辑面板中添加如下代码：

export FLUME_HOME=/opt/module/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin

4、重启环境配置，命令：

source /etc/profile

 5、修改flume环境变量

cd /opt/module/apache-flume-1.9.0-bin/conf/

①拷贝环境变量文件

cp flume-env.sh.template flume-env.sh
将flume-env.sh.template拷贝并重命名为flume-env.sh

②配置flume-env.sh文件

vi flume-env.sh

在编辑面板中添加如下内容：

export JAVA_HOME=/opt/module/jdk1.8.0_212

 6、配置文件

①拷贝配置文件

cp flume-conf.properties.template flume-client.properties

②配置flume-client.properties文件

vi flume-client.properties

在编辑面板中添加如下内容：

#分别指定agent的sources，sinks, channels的名称 名称可以自定义
a1.sources = s1  
a1.sinks = k1  
a1.channels = c1  
  
#配置目录scource		
a1.sources.s1.type =spooldir  
a1.sources.s1.spoolDir =/opt/module/hadoop-3.1.3/logs  
a1.sources.s1.fileHeader= true  
a1.sources.s1.channels =c1  
   
#配置sink 
a1.sinks.k1.type = logger  
a1.sinks.k1.channel = c1  
   
#配置channel(内存做缓存)
a1.channels.c1.type = memory

7、启动，命令：

flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=DEBUG,console
#-n:agent名称
#-c:配置文件路径conf
#-f:配置文件名称

8、将100的flume集群分发到101和102中，命令：

scp -r /opt/module/apache-flume-1.9.0-bin root@hadoop101:/opt/module
scp -r /opt/module/apache-flume-1.9.0-bin root@hadoop102:/opt/module

到此Hadoop的部分境配置就结束啦