Atlas部署（待完成）

Atlas部署（待完成）

文章目录

前言1、集群规划、版本、环境变量2、Solr集群部署3、安装Atlas

3.1、安装Atlas服务3.2、配置Atlas存储到外部Hbase Atlas集成SolrAtlas集成KafkaAtlas集成Hive

前言

Atlas架构图（待补充）
atlas服务、图（边、节点、节点注释）、solr、Kafka、HIVE、hook

1、集群规划、版本、环境变量

Atlas安装分为：集成自带的Hbase+Solr 和 集成外部的Hbase+Solr
本文是集成外部的
安装Solr前需要装好JDK、Zookeeper、Kafka、Hbase、Hive

集群规划
https://yellow520.blog.csdn.net/article/details/115536550

环境变量
https://blog.csdn.net/Yellow_python/article/details/112692486

2、Solr集群部署

Apache SolrTM是 建立在Apache LuceneTM之上的 开源的企业搜索平台在此处，Solr的作用是：加快元数据的搜索下载地址：https://solr.apache.org/

在每个节点创建名为Solr的系统用户

useradd solr
echo solr | passwd --stdin solr

解压、修改户主

tar -zxvf solr-7.7.3.tgz -C $B_HOME/
cd $B_HOME
mv solr-7.7.3 solr
chown -R solr:solr solr

修改配置文件

vim $B_HOME/solr/bin/solr.in.sh

ZK_HOST="hadoop102:2181,hadoop103:2181,hadoop104:2181"

分发到每个节点

rsync.py $B_HOME/solr

在每个节点，使用solr用户来启动Solr（前提是ZooKeeper在运行）

sudo -i -u solr $B_HOME/solr/bin/solr start

Web端口为8983，任意节点都可

注意：界面出现Cloud菜单栏时，Cloud模式才算部署成功

3、安装Atlas

下载编译好的Atlas

3.1、安装Atlas服务

tar -zxvf apache-atlas-2.1.0-server.tar.gz
mv apache-atlas-2.1.0 $B_HOME/atlas

3.2、配置Atlas存储到外部Hbase

修改图的存储地址（Zookeeper地址，Hbase集群依赖ZooKeeper）

vim $B_HOME/atlas/conf/atlas-application.properties

atlas.graph.storage.hostname=hadoop102:2181,hadoop103:2181,hadoop104:2181

告诉Atlas，Hbase配置路径

vim $B_HOME/atlas/conf/atlas-env.sh

export Hbase_CONF_DIR=$Hbase_HOME/conf

Atlas集成Solr

vim $B_HOME/atlas/conf/atlas-application.properties

atlas.graph.index.search.backend=solr
atlas.graph.index.search.solr.mode=cloud
atlas.graph.index.search.solr.zookeeper-url=hadoop102:2181,hadoop103:2181,hadoop104:2181

创建Solr collection（图、边、节点）

sudo -i -u solr /opt/module/solr/bin/solr create  -c vertex_index -d /opt/module/atlas/conf/solr -shards 3 -replicationFactor 2
sudo -i -u solr /opt/module/solr/bin/solr create -c edge_index -d /opt/module/atlas/conf/solr -shards 3 -replicationFactor 2
sudo -i -u solr /opt/module/solr/bin/solr create -c fulltext_index -d /opt/module/atlas/conf/solr -shards 3 -replicationFactor 2

Atlas集成Kafka

vim $B_HOME/atlas/conf/atlas-application.properties

atlas.kafka.data=Kafka数据存放位置

atlas.notification.embedded=false
atlas.kafka.data=/opt/module/kafka/data
atlas.kafka.zookeeper.connect= hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
atlas.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092

Atlas集成Hive

解压hook

cd $B_HOME/apache-atlas-sources-2.1.0/distro/target/
tar -zxvf apache-atlas-2.1.0-hive-hook.tar.gz

把hook复制到Atlas安装路径

cp -r apache-atlas-hive-hook-2.1.0/* /opt/module/atlas/

hook配置

cd $HIVE_HOME/conf
mv hive-env.sh.template hive-env.sh
vim hive-env.sh

export HIVE_AUX_JARS_PATH=$B_HOME/atlas/hook/hive

修改Hive配置文件

vim $HIVE_HOME/conf/hive-site.xml

    hive.exec.post.hooks
    org.apache.atlas.hive.hook.HiveHook

encnatlasˈætləsn. 地图册；第一颈椎hookhʊkn. 钩backend'bæk,ɛndn. 后端vertexˈvɜːrteksn. 顶点