如何配置hive连接mysql,把mysql作为元数据库?
文章目录
1.增加mysql数据库的连接配置 2.修改临时文件夹的路径 3.修改 4.下载MySQL JDBC驱动 5.在HDFS中创建目录和设置权限 6.初始化元数据库1.增加mysql数据库的连接配置
javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&useSSL=false javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName root username to use against metastore database 复制代码 javax.jdo.option.ConnectionPassword password password to use against metastore database
2.修改临时文件夹的路径
找到以下2个配置,并改为正确的路径:
hive.exec.local.scratchdir /home/lee/iotmp Local scratch space for Hive jobs 复制代码 hive.downloaded.resources.dir /home/lee/iotmp Temporary local directory for added resources in the remote file system.
这里因为我当前用户是hduser,所以我在hduser的目录下创建一个iotmp文件夹,并授权:
$ mkdir -p /home/lee/iotmp $ chmod -R 775 /home/lee/iotmp复制代码
3.修改
进入到 hive 的 bin 目录下 ....../hive/bin/
$ vi hive-config.sh复制代码
在该文件的最前面加入以下配置:
//你的JAVA_HOMEexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 //你的HADOOP_HOMEexport HADOOP_HOME=/usr/local/hadoop//你的HIVE_HOMEexport HIVE_HOME=/usr/local/hive复制代码
4.下载MySQL JDBC驱动
$ wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.41/mysql-connector-java-5.1.41.jar复制代码
下载完后,把jar包复制到..../hive/lib目录下面
5.在HDFS中创建目录和设置权限
启动Hadoop,在Hadoop中创建hive需要用到的目录并设置好权限:
$ hadoop fs -mkdir /tmp$ hadoop fs -mkdir -p /home/lee/hive/warehouse$ hadoop fs -chmod g+w /tmp$ hadoop fs -chmod g+w /home/lee/hive/warehouse复制代码
6.初始化元数据库
进入 你的hive lib 目录,我的是在/home/lee/hive/lib,初始化Hive元数据对应的MySQL数据库:
$ schematool -initSchema -dbType mysql复制代码