hive部署

hive部署

官网

Apache Hive TMhttps://hive.apache.org/

下载安装包

 

 

 

 

 上传

[ssn@ssn9520 ~]$ cd software/
[ssn@ssn9520 software]$ rz

解压

[ssn@ssn9520 software]$ tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /home/ssn/app/

 

修改环境变量

[ssn@ssn9520 ~]$ vi .bashrc
追加
export HIVE_HOME=/home/ssn/app/apache-hive-3.1.2-bin
export PATH=$HIVE_HOME/bin:$PATH
[ssn@ssn9520 ~]$ source .bashrc

 整合mysql

a.hive-site.xml  需要自己添加

我只配置了访问路径 用户名 密码 和连接数据库驱动

  
      javax.jdo.option.ConnectionUserName
      root
  

  
      javax.jdo.option.ConnectionPassword
      root
  

  
      javax.jdo.option.ConnectionURL
      jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true&useSSL=false
  

  
      javax.jdo.option.ConnectionDriverName
      com.mysql.jdbc.Driver
  

  
      hive.metastore.schema.verification
      false
  

  
    datanucleus.schema.autoCreateAll
    true
  

  
    hive.server2.thrift.bind.host
    hadoop104
  


 
  hive.metastore.warehouse.dir
  hdfs://hadoop102:9000/user/hive/warehouse
  location of default database for the warehouse


 
   hive.cli.print.header
   true
  
 
   hive.cli.print.current.db
   true
 

[ssn@ssn9520 conf]# pwd
/home/ssn/app/apache-hive-3.1.2-bin/conf
[ssn@ssn9520 conf]# vi hive-site.xml

b.连接mysql数据库的驱动包系统没有内置，需要手动下载，地址如下

jdbc下载地址：Central Repository: mysql/mysql-connector-javahttps://repo1.maven.org/maven2/mysql/mysql-connector-java/

 

 

[ssn@ssn9520 lib]$ rz  

已上传成功

 c.在hive-env.sh.template配置hive_home，如何之前按照步骤配置过环境变量，这一步可以跳过

[ssn@ssn9520 conf]$ vi hive-env.sh.template 

初始化

[ssn@ssn9520 bin]$schematool -dbtype mysql -initSchema

运行之后报错：

 /home/ssn/app/hadoop/share/hadoop/common/lib         hadoop中guava包版本如图

 /home/ssn/app/apache-hive-3.1.2-bin/lib

hive中 guava版本如图

 

 解决方法：将低版本的删除掉，然后将高版本的拷贝过来

然后登录Mysql

mysql -uroot -p

新建Hive元数据库

mysql> create database metastore;
mysql> quit;

初始化Hive元数据库

schematool -initSchema -dbType mysql -verbose

运行

./hive

[ssn@ssn9520 bin]$ ./beeline
beeline> !connect jdbc:hive2://localhost:10000 scott tiger

解决方案： 

原因：hiveserver2增加了权限控制，需要在hadoop的配置文件中配置 

解决方法：在hadoop的core-site.xml中添加如下内容，然后重启hadoop，再使用beeline连接即可

参考官网： Apache Hadoop 3.3.1 – Proxy user - Superusers Acting On Behalf Of Other Users

    hadoop.proxyuser.hadoop.hosts
    *


    hadoop.proxyuser.hadoop.groups
    *