百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Hive三种安装方式区别和搭建

itomcoil 2025-01-13 14:31 38 浏览

Hive中metastore(元数据存储)的三种模式:

  • 内嵌Derby模式
  • 直连数据库模式
  • 远程服务器模式

内嵌Derby模式

链接参数

参数

描述

演示

javax.jdo.option.ConnectionURL

JDBC链接url信息,包含了数据库名称元数据

jdbc:derby::databaseName=metastore_db;create=true

javax.jdo.option.ConnectionDriverName

JDBC链接驱动的名称,使用的derby的单用户模式

org.apache.derby.jdbc.EmbeddedDriver

javax.jdo.option.ConnectionUserName

Derby数据库的用户名称

APP

javax.jdo.option.ConnectionPassword

数据库的密码

mine

此模式链接到一个In-memory的数据库Derby, 一般用于Unit Test,一台服务器即可,基本不可用。

直连数据库(mysql)模式

链接参数

参数

描述

演示

javax.jdo.option.ConnectionURL

JDBC链接url信息,包含了数据库名称元数据

jdbc:mysql::databaseName=metastore_db;create=true

javax.jdo.option.ConnectionDriverName

JDBC链接驱动的名称,使用的derby的单用户模式

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

Derby数据库的用户名称


javax.jdo.option.ConnectionPassword

数据库的密码


远程服务器模式

链接参数

用于非Java客户端访问源数据库,在服务器端启动MetaStoreServer,客户端利用Thrift协议通过MetaStoreServer访问源数据库。起到了解耦的作用,如果更换其他数据库只需要修改MetaStoreServer即可。

链接参数

参数

描述

例子

hive.metastore.urls

metastore server所在的服务地址

thrift://:9083

hive.metastore.local


false

安装

在开始安装Hive之前,需要先从Index of /dist/hive中获取自己需要的Hive的版本,我这里使用的是2.3.9版本。同时Hive是依赖Hadoop做数据存储的,Hadoop安装可以参考Hadoop HA集群搭建

tar -zxvf apache-hive-2.3.9.tar.gz
cp conf/hive-default.xml.template conf/hive-site.xml

 # 在/etc/profile中,将HIVE_HOME配置到PATH路径,并支持hive命令的访问

mysql模式安装

在mysql模式安装中,mysql只是负责存储hive的元数据信息,不做真实的数据存储。同时,hive的lib依赖包下,并没有mysql的依赖包,需要自己将mysql的依赖包上传到$HIVE_HOME/lib下面。

hive-site.xml

<configuration>
  <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
  <!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
  <!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
        <!-- Hive Execution Parameters -->

        <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>/opt/apps/hive/apache-hive-2.3.9/warehouse</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&llowPublicKeyRetrieval=true</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.cj.jdbc.Driver</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
</configuration>

在有了以上的配置之后,然后就需要初始化Hive所需要的数据表信息:

schematool --dbType mysql --initSchema

初始化工具的使用,可以参考Hive Schema Tool – Apache Hive – Apache Software Foundation

在执行完成之后,就可以在mysql数据库中查看到hive有关的数据库信息:

在有了以上信息之后,则可以启动hive命令:

# 启动hive
hive


# 在hive客户端中,额可以创建数据库,创建表
show databases;
# 创建数据库
create mydb;
# 使用数据库
use mydb;
# 创建数据表
create table test(id int, age int);
# 插入一条数据
insert into test(id,age) values (1,1)

在执行以上的insert语句的时候,就可以看到会将对应的雨具转换成为MapReduce任务执行。

然后我们查看mysql中hive表中的数据,则可以看到与Hive有关的原始表的数据信息。

这时我们可以查看HDFS中的文件存储,就可以看到对应的数据存储方式了:


到这里,关于mysql模式的安装Hive就完成。

远程服务器模式

在以上的mysql的安装模式后,我们可以配置一个metastore server用来处理远程的Hive请求。

hive-site.xml

该文件在服务端则不需要修改任何内容,主要还是配置元数据存储的方式这些内容。因此可以跟上面mysql模式安装保持一致。

启动metastore server

启动server则需要用到命令:

hive --service metastore

这种方式会阻塞线程的执行,我们可以让hive在后端运行:

nohup hive --service metastore &

这里默认端口为9083,可以通过命令的方式查看是否启动完成:

netstat -ntlp | grep 9083

可以看到metastore server已经启动成功。

如果不想使用9083这个端口,也可以使用hive --service metastore -p <端口号>指定其他的端口。AdminManual Metastore Administration – Apache Hive – Apache Software Foundation

客户端链接配置

客户端链接的时候,则只需要配置metastore server的地址就可以了,具体配置信息如下:

<configuration>
  <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
  <!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
  <!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
        <!-- Hive Execution Parameters -->

        <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>/opt/apps/hive/apache-hive-2.3.9/warehouse</value>
        </property>

        <property>
                <name>hive.metastore.local</name>
                <value>false</value>
        </property>

        <property>
                <name>hive.metastore.uris</name>
                <value>thrift://node4:9083</value>
        </property>
</configuration>

在经过了以上配置之后,我们可以直接连接metastore server进行操作了:

hive

以上就是远程模式的安装方式。

相关推荐

MySQL修改密码_mysql怎么改密码忘了怎么办

拥有原来的用户名账户的密码mysqladmin-uroot-ppassword"test123"Enterpassword:【输入原来的密码】忘记原来root密码第一...

数据库密码配置项都不加密?心也太大了吧!

先看一份典型的配置文件...省略...##配置MySQL数据库连接spring.datasource.driver-class-name=com.mysql.jdbc.Driverspr...

Linux基础知识_linux基础入门知识

系统目录结构/bin:命令和应用程序。/boot:这里存放的是启动Linux时使用的一些核心文件,包括一些连接文件以及镜像文件。/dev:dev是Device(设备)的缩写,该目录...

MySQL密码重置_mysql密码重置教程

之前由于修改MySQL加密模式为mysql_native_password时操作失误,导致无法登陆MySQL数据库,后来摸索了一下,对MySQL数据库密码进行重置后顺利解决,步骤如下:1.先停止MyS...

Mysql8忘记密码/重置密码_mysql密码忘了怎么办?

Mysql8忘记密码/重置密码UBUNTU下Mysql8忘记密码/重置密码步骤如下:先说下大概步骤:修改配置文件,使得用空密码可以进入mysql。然后置当前root用户为空密码。再次修改配置文件,不能...

MySQL忘记密码怎么办?Windows环境下MySQL密码重置图文教程

有不少小白在使用Windows进行搭建主机的时候,安装了一些环境后,其中有MySQL设置后,然后不少马大哈忘记了MySQL的密码,导致在一些程序安装及配置的时候无法进行。这个时候怎么办呢?重置密码呗?...

10种常见的MySQL错误,你可中招?_mysql常见错误提示及解决方法

【51CTO.com快译】如果未能对MySQL8进行恰当的配置,您非但可能遇到无法顺利访问、或调用MySQL的窘境,而且还可能给真实的应用生产环境带来巨大的影响。本文列举了十种MySQL...

Mysql解压版安装过程_mysql解压版安装步骤

Mysql是目前软件开发中使用最多的关系型数据库,具体安装步骤如下:第一步:Mysql官网下载最新版(mysql解压版(mysql-5.7.17-winx64)),Mysql官方下载地址为:https...

MySQL Root密码重置指南:Windows新手友好教程

如果你忘记了MySQLroot密码,请按照以下简单步骤进行重置。你需要准备的工具:已安装的MySQL以管理员身份访问命令提示符一点复制粘贴的能力分步操作指南1.创建密码重置文件以管理员...

安卓手机基于python3搜索引擎_python调用安卓so库

环境:安卓手机手机品牌:vivox9s4G运行内存手机软件:utermux环境安装:1.java环境的安装2.redis环境的安装aptinstallredis3.elasticsearch环...

Python 包管理 3 - poetry_python community包

Poetry是一款现代化的Python依赖管理和打包工具。它通过一个pyproject.toml文件来统一管理你的项目依赖、配置和元数据,并用一个poetry.lock文件来锁定所有依赖的精...

Python web在线服务生产环境真实部署方案,可直接用

各位志同道合的朋友大家好,我是一个一直在一线互联网踩坑十余年的编码爱好者,现在将我们的各种经验以及架构实战分享出来,如果大家喜欢,就关注我,一起将技术学深学透,我会每一篇分享结束都会预告下一专题最近经...

官方玩梗:Python 3.14(πthon)稳定版发布,正式支持自由线程

IT之家10月7日消息,当地时间10月7日,Python软件基金会宣布Python3.14.0正式发布,也就是用户期待已久的圆周率(约3.14)版本,再加上谐音梗可戏称为π...

第一篇:如何使用 uv 创建 Python 虚拟环境

想象一下,你有一个使用Python3.10的后端应用程序,系统全局安装了a2.1、b2.2和c2.3这些包。一切运行正常,直到你开始一个新项目,它也使用Python3.10,但需要...

我用 Python 写了个自动整理下载目录的工具

经常用电脑的一定会遇到这种情况:每天我们都在从浏览器、微信、钉钉里下各种文件,什么截图、合同、安装包、临时文档,全都堆在下载文件夹里。起初还想着“过两天再整理”,结果一放就是好几年。结果某天想找一个发...