在开始之前,需要在主机上准备好MySQL数据库,并且已经完成了hdfs和yarn的部署

步骤1:MySQL的配置

以root用户登录mysql后执行以下命令:

grant all privileges on *.* to 'root'@'%' with grant option;
flush privileges;

这样我们就授权root用户远程登录并且密码为你登录mysql所使用的密码。

步骤2:配置hadoop

在hadoop的core-site.xml文件中添加配置:

    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>

步骤3:下载解压Hive

点击链接,寻找要下载的Hive版本,下载压缩包。

上传到主机服务器上(我下载在node1的/export/server/目录下)

解压

tar -zxvf 压缩包 -C 要解压到的路径

如果觉得解压后的目录名字过长也可以用软链接连接到目录(后面我将目录的路径简写为hive)

步骤4:提供MySQL Driver包

下载MySQL驱动包(根据自己的系统选择)

https://dev.mysql.com/downloads/connector/j/

将下载好的驱动jar包,上传到主机上并移动到/hive/lib目录下

步骤5:配置Hive

在hive的conf目录内,有个hive-env.sh.template,将其改名为hive-env.sh,并在其内添加如下配置:

export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive
export HIVE_AUX_JARS_PATH=/export/server/hive/lib

具体路径根据自己的配置进行更改。

在hive的conf目录内,新建hive-site.xml文件,填入以下内容:

<configuration>
<!-- 存储元数据mysql相关配置 -->
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;allowPublicKeyRetrieval=true</value>
</property>

<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
</property>

<property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
</property>

<property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>your_password</value>
</property>

<!-- H2S运行绑定host -->
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node1</value>
</property>

<!-- 远程模式部署metastore metastore地址 -->
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://node1:9083</value>
</property>

<!-- 关闭元数据存储授权  --> 
<property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
</property>
</configuration>

your_password改为root登录mysql所用的密码。

步骤6:初始化元数据库

转到hive目录执行元数据初始化命令:

bin/schematool -initSchema -dbType mysql -verbose

是否初始化成功的检验方法:

登录mysql,查看数据库,如果有hive3数据库,使用hive3数据库后查看表,如果内部有表则初始化成功。

步骤7:启动Hive(使用Hadoop用户)

  • 在启动前,需要将hdfs和yarn集群启动,并确保hive文件夹所属用户为hadoop。
  • 在hive目录下创建一个hive的日志文件夹,
mkdir logs
  • 启动元数据管理服务(必须启动,否则无法工作)
前台启动:bin/hive --service metastore
后台启动:nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
          nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &
  • 启动客户端

在hive目录下执行

bin/hive

当出现以下输出说明已经成功启动了Hive Beeline客户端

  • 使用命令连接到Hive Metastore
!connect jdbc:hive2://node1:10000/default

username和password参考hive-site.xml文件。

显示数据库:

show databases;

如果有default数据库则启动成功。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部