HBASE2.x和HADOOP 2.7.X安装配置个人备忘录

HBASE2.x和HADOOP 2.7.X安装配置个人备忘录

本文是在hbase和HADOOP下载好后进行配置问题，非HA安装教程如下

hadoop完整安装:Hadoop学习之路（四）Hadoop集群搭建和简单应用 - 扎心了，老铁 - 博客园

hbase2.x安装参考:Hbase学习之路 （二）Hbase集群安装 - 扎心了，老铁 - 博客园

1. HADOOP 2.7.X版本配置信息 ，配置路径：HADOOP_HOME/etc/hadoop

A.hadoop-env.sh

#${JAVA_HOME}如果系统本身设置了JAVA常量，可以这么使用，或直接使用JAVA的安装路径：/usr/local/jdk1.8.0_151（依据个人安装设置）
export JAVA_HOME=${JAVA_HOME}

B.core-site.xml

			            
				　　　　　　　　fs.defaultFS
                                
				　　　　　　　　hdfs://master:9000 
				　　　　 
			　　　　　　 
				　　　　　　　　hadoop.tmp.dir
								
							  　/data/server/data/hadoop-2.7.4/temp 
	                    

C.hdfs-site.xml

        
		 dfs.namenode.name.dir
		 /data/server/data/hadoop-2.7.4/name
		 为了保证元数据的安全一般配置多个不同目录
		

		
		 dfs.datanode.data.dir
		 /data/server/data/hadoop-2.7.4/data
		 datanode 的数据存储目录
		

		
		 dfs.replication
		 
		 2
		 HDFS 的数据块的副本存储个数, 默认是3																																											 
	   
	     dfs.secondary.http.address																																																         
         masterbak:9001																																														                 
         secondarynamenode 运行节点的信息，和 namenode 不同节点
        

D:mapred-site.xml(默认没有，主要用于mapreduce使用，从模板mapred-site.xml.template拷贝的)

	　　  
		　　　　　　mapreduce.framework.name 
		　　　　　　yarn 
		　　　　 
	　　　　  
		　　　　　　mapreduce.jobhistory.address 
		　　　　　　master:10020 
		　　　　 
	　　　　 
		　　　　　　mapreduce.jobhistory.webapp.address 
		　　　　　　master:19888 
		　　　　 

	
		　　mapreduce.map.memory.mb
		　　1536
	
	
		　　mapreduce.map.java.opts
		　　-Xmx1024M
	
	
		　　mapreduce.reduce.memory.mb
		　　3072
	
	
		　　mapreduce.reduce.java.opts
		　　-Xmx2560M
		

E:yarn-site.xml（上一步配置了YARN，这步配置yarn的一些基本参数）

	  
		　　　　　　yarn.nodemanager.aux-services 
		　　　　　　mapreduce_shuffle 
		　　　　 
	　　　　 
		　　　　　　yarn.nodemanager.aux-services.mapreduce.shuffle.class 
		　　　　　　org.apache.hadoop.mapred.ShuffleHandler 
		　　　　 
	　　　　  
		　　　　　　yarn.resourcemanager.address 
		　　　　　　master:8032 
		　　　　 
	　　　　   
		　　　　　　yarn.resourcemanager.scheduler.address 
		　　　　　　master:8030 
		　　　　 
	　　　　  
		　　　　　　yarn.resourcemanager.resource-tracker.address  
		　　　　　　master:8031 
		　　　　 
	　　　　  
		　　　　　　yarn.resourcemanager.admin.address   
		　　　　　　master:8033 
		　　　　 
	　　　　    
		　　　　　　yarn.resourcemanager.webapp.address 
		　　　　　　master:8088 
		　　	 
			
				yarn.nodemanager.resource.memory-mb
				8192
			
			
				yarn.nodemanager.resource.cpu-vcores
				4
			
			 	 
			
			 	yarn.log-aggregation-enable
			 	true
			 
			 
			 
			  yarn.nodemanager.remote-app-log-dir
			  /tmp/logs
			 
			 
			 
			  yarn.log-aggregation.retain-seconds
			  1296000
			 
			 
				yarn.log-aggregation.retain-check-interval-seconds
				10800
			
			
				yarn.log.server.url
				http://master:19888/jobhistory/logs
			
			
				yarn.nodemanager.resource.memory-mb
				16384
			
			
				yarn.scheduler.maximum-allocation-mb
				16384
			

F:slaves（从节点HOST）

slave1
slave2

2. Hbase.2.x版本配置信息 ，配置路径：Hbase_HOME/conf

A.hbase-env.sh

#修改之前的配置，默认Hbase自管理Hbase，我用的是自己的部署的Hbase，后期如果用HA的这个也是要设置
export Hbase_MANAGES_ZK=false

B.hbase-site.xml

	　　　　　 
		　　　　　　　　hbase.rootdir 
		　　　　　　　　hdfs://master:9000/hbase
		　　　　　　　　
		　　　　　　 
	　　　　　　 
		　　　　　　　　hbase.cluster.distributed 
		　　　　　　　　true 
		　　　　　　 
	　　　　　　 
		　　　　　　　　hbase.zookeeper.quorum 
		　　　　　　　　master 
		　　　　　　 　　　 
				
				 hbase.replication
				 false
				
				
				 hbase.backup.enable
				 false
				
				
				 replication.source.size.capacity 
				 4194304 
				  主集群每次像备集群发送的entry的包的最大值大小，不推荐过大
				
				
					replication.source.ratio
				    1.0
				
				
					replication.source.nb.capacity
					1000
				
				
					hbase.regionserver.wal.enablecompression
					false
					 主集群关闭hlog的压缩
					
				
					replication.sleep.before.failover
					5000
					 主集群在regionserver当机后几毫秒开始执行failover
				
				
				
					hbase.zookeeper.property.tmpDir
					/var/hadoop/
				
				
				
				　hbase.zookeeper.property.dataDir 
				　/data/server/data/zookeeper
	            

C.regionservers（从节点HOST）

slave1
slave2