博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据BigData之如何配置hive连接mysql,把mysql作为元数据库?
阅读量:7282 次
发布时间:2019-06-30

本文共 1999 字,大约阅读时间需要 6 分钟。

如何配置hive连接mysql,把mysql作为元数据库?

文章目录

  1.增加mysql数据库的连接配置
  2.修改临时文件夹的路径
  3.修改
  4.下载MySQL JDBC驱动
  5.在HDFS中创建目录和设置权限
  6.初始化元数据库


1.增加mysql数据库的连接配置

javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&useSSL=false
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore
javax.jdo.option.ConnectionUserName
root
username to use against metastore database
javax.jdo.option.ConnectionPassword
password
password to use against metastore database
复制代码

2.修改临时文件夹的路径

找到以下2个配置,并改为正确的路径:

hive.exec.local.scratchdir
/home/lee/iotmp
Local scratch space for Hive jobs
hive.downloaded.resources.dir
/home/lee/iotmp
Temporary local directory for added resources in the remote file system.
复制代码

这里因为我当前用户是hduser,所以我在hduser的目录下创建一个iotmp文件夹,并授权:

$ mkdir -p /home/lee/iotmp $ chmod -R 775 /home/lee/iotmp复制代码

3.修改

进入到 hive 的 bin 目录下 ....../hive/bin/

$ vi hive-config.sh复制代码

在该文件的最前面加入以下配置:

//你的JAVA_HOMEexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 //你的HADOOP_HOMEexport HADOOP_HOME=/usr/local/hadoop//你的HIVE_HOMEexport HIVE_HOME=/usr/local/hive复制代码

4.下载MySQL JDBC驱动

$ wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.41/mysql-connector-java-5.1.41.jar复制代码

下载完后,把jar包复制到..../hive/lib目录下面


5.在HDFS中创建目录和设置权限

启动Hadoop,在Hadoop中创建hive需要用到的目录并设置好权限:

$ hadoop fs -mkdir /tmp$ hadoop fs -mkdir -p /home/lee/hive/warehouse$ hadoop fs -chmod g+w /tmp$ hadoop fs -chmod g+w /home/lee/hive/warehouse复制代码

6.初始化元数据库

进入 你的hive lib 目录,我的是在/home/lee/hive/lib,初始化Hive元数据对应的MySQL数据库:

$ schematool -initSchema -dbType mysql复制代码

转载于:https://juejin.im/post/5c1b6377518825678a7bb1a1

你可能感兴趣的文章
php框架的制作原理
查看>>
【Quick-COCOS2D-X 3.3 怎样绑定自己定义类至Lua之四】使用绑定C++至Lua的自己定义类...
查看>>
python中使用mahotas包实现高斯模糊
查看>>
【SVN Working copy is too old (format 10, created by Subversion 1.6)】解决方式
查看>>
ros与下位机通信常用的c++ boost串口应用--22
查看>>
Codeforces Beta Round #6 (Div. 2 Only) D. Lizards and Basements 2 dfs
查看>>
adbWireless 简单教程
查看>>
Hadoop Version History and Feature
查看>>
html5手机网站需要加的那些meta/link标签,html5 meta全解
查看>>
Codeforces Beta Round #9 (Div. 2 Only) B. Running Student 水题
查看>>
Educational Codeforces Round 12 F. Four Divisors 求小于x的素数个数(待解决)
查看>>
PHPer书单
查看>>
沉浸式导航栏
查看>>
Python中docstring文档的写法
查看>>
SSH配置文件和SSM配置文件的写法
查看>>
获取图片中感兴趣区域的信息(Matlab实现)
查看>>
NPO与X7R、X5R、Y5V、Z5U神马的有啥区别
查看>>
掌握 Linux 调试技术
查看>>
安装第三方模块方法和requests
查看>>
Log Parser 2.2 + Log Parser Lizard GUI 分析IIS日志示例
查看>>