本文共 2214 字,大约阅读时间需要 7 分钟。
2018年08月30日 10:41:35 阅读数:565更多
个人分类:
参考:
一 前期准备
1. hadoop集群
版本: 2.8.4
安装:
2 mysql
版本: 5.7.21
安装:
3 mysql驱动
版本: 5.1.46
4 hive安装包
hive-3.1.0
二 hive安装
1 解压和配置
# 解压
tar -zxvf apache-hive-3.1.0-bin.tar.gz
# 配置
sudo vim /etc/profile
export HIVE_HOME=/home/hadoop/apache-hive-3.1.0-bin
export PATH=$HIVE_HOME/bin:$PATH
2 创建hdfs目录并赋予权限
hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -mkdir -p /usr/hive/tmp
hdfs dfs -mkdir -p /usr/hive/log
hdfs dfs -chmod g+w /usr/hive/warehouse
hdfs dfs -chmod g+w /usr/hive/tmp
hdfs dfs -chmod g+w /usr/hive/log
3 hive-env.sh配置
#复制创建hive-env.sh
cd /home/hadoop/apache-hive-3.1.0-bin/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
# 在hive中添加如下内容
export JAVA_HOME=/opt/jdk1.8.0_161
export HADOOP_HOME=/home/hadoop/hadoop-2.8.4
export HIVE_HOME=/home/hadoop/apache-hive-3.1.0-bin
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib/*
4 hive-site.xml配置:
#生成hive-site.xml文件
cp -r hive-default.xml.template hive-site.xml
#配置
vi hive-site.xml
# 在文件开头添加如下内容:
<configuration>
<property>
<name>system:java.io.tmpdir</name>
<value>/tmp/hive/java</value>
</property>
<property>
<name>system:user.name</name>
<value>${user.name}</value>
</property>
</configuration>
# 修改以下属性的value值
<configuration>
<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
<!-- WARNING!!! Any changes you make to this file will be ignored by Hive. -->
<!-- WARNING!!! You must make your changes in hive-site.xml instead. -->
<!-- Hive Execution Parameters -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.32.128:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
</configuration>
5 使用schemaTool初始化mysql数据库
schematool -dbType mysql -initSchema
三 启动hive测试
# hive