博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hive部署以及如何查hadoop和hive版本
阅读量:4300 次
发布时间:2019-05-27

本文共 2214 字,大约阅读时间需要 7 分钟。

查看hadoop版本: hadoop version

查看hive版本    hive --verion

 

___________________________________

centos7中hive3.1.0安装和部署

2018年08月30日 10:41:35  阅读数:565更多

个人分类: 

参考: 

一 前期准备

1. hadoop集群

版本: 2.8.4

安装: 

2 mysql

版本: 5.7.21

安装: 

3 mysql驱动

版本: 5.1.46

4 hive安装包

hive-3.1.0

二 hive安装

1 解压和配置

 
  1. # 解压

  2. tar -zxvf apache-hive-3.1.0-bin.tar.gz

  3.  
  4. # 配置

  5. sudo vim /etc/profile

  6.  
  7. export HIVE_HOME=/home/hadoop/apache-hive-3.1.0-bin

  8. export PATH=$HIVE_HOME/bin:$PATH

2 创建hdfs目录并赋予权限

 
  1. hdfs dfs -mkdir -p /usr/hive/warehouse

  2. hdfs dfs -mkdir -p /usr/hive/tmp

  3. hdfs dfs -mkdir -p /usr/hive/log

  4. hdfs dfs -chmod g+w /usr/hive/warehouse

  5. hdfs dfs -chmod g+w /usr/hive/tmp

  6. hdfs dfs -chmod g+w /usr/hive/log

3 hive-env.sh配置

 
  1. #复制创建hive-env.sh

  2. cd /home/hadoop/apache-hive-3.1.0-bin/conf

  3. cp hive-env.sh.template hive-env.sh

  4. vim hive-env.sh

  5.  
  6. # 在hive中添加如下内容

  7. export JAVA_HOME=/opt/jdk1.8.0_161

  8. export HADOOP_HOME=/home/hadoop/hadoop-2.8.4

  9. export HIVE_HOME=/home/hadoop/apache-hive-3.1.0-bin

  10. export HIVE_CONF_DIR=$HIVE_HOME/conf

  11. export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib/*

  12.  

4 hive-site.xml配置:

 
  1. #生成hive-site.xml文件

  2. cp -r hive-default.xml.template hive-site.xml

  3. #配置

  4. vi hive-site.xml

  5.  
  6. # 在文件开头添加如下内容:

  7. <configuration>

  8. <property>

  9. <name>system:java.io.tmpdir</name>

  10. <value>/tmp/hive/java</value>

  11. </property>

  12. <property>

  13. <name>system:user.name</name>

  14. <value>${user.name}</value>

  15. </property>

  16. </configuration>

  17.  
  18. # 修改以下属性的value值

  19.  
  20. <configuration>

  21. <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->

  22. <!-- WARNING!!! Any changes you make to this file will be ignored by Hive. -->

  23. <!-- WARNING!!! You must make your changes in hive-site.xml instead. -->

  24. <!-- Hive Execution Parameters -->

  25. <property>

  26. <name>javax.jdo.option.ConnectionURL</name>

  27. <value>jdbc:mysql://192.168.32.128:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>

  28. </property>

  29. <property>

  30. <name>javax.jdo.option.ConnectionDriverName</name>

  31. <value>com.mysql.jdbc.Driver</value>

  32. </property>

  33. <property>

  34. <name>javax.jdo.option.ConnectionUserName</name>

  35. <value>root</value>

  36. </property>

  37. <property>

  38. <name>javax.jdo.option.ConnectionPassword</name>

  39. <value>root</value>

  40. </property>

  41. </configuration>

5 使用schemaTool初始化mysql数据库

schematool -dbType mysql -initSchema

三 启动hive测试

# hive

你可能感兴趣的文章
安装了grpc但是无法导入:ImportError: No module named 'grpc'
查看>>
Python中logging模块的基本用法
查看>>
Python查看第三方库、包的所有可用版本,历史版本
查看>>
一键将Python2代码转成Python3小记,
查看>>
Python要求O(n)复杂度求无序列表中第K的大元素
查看>>
Python 各种进制互相转换的函数
查看>>
python的单例理解、__new__、新式类object以及python2和python3下__new__的区别。
查看>>
Python动态规划以及编辑距离——莱文斯坦距离小记
查看>>
pycharm控制台报错:xmlrpc.client.Fault: Fault 0: 'java.lang.NullPointerException
查看>>
Python打印二叉树的左视图、右视图
查看>>
OpenStack Mitaka Horizon 主题开发
查看>>
OpenStack Mitaka keystone 分页(pagination)实现
查看>>
OpenStack删除Cinder盘失败解决办法
查看>>
Linux cpu 详解
查看>>
GitHub + Hexo 搭建个人博客
查看>>
Linux Ubuntu 修改网卡名字
查看>>
OpenStack Ocata Horizon 开发(一)—— 快速开始
查看>>
自定义Horizon
查看>>
Django 源码阅读:服务启动(wsgi)
查看>>
Django 源码阅读:url解析
查看>>