【摘要】:使用Spark SQL,并使用Hive作为数据仓库,需要在安装了Hive的那台机器上的Spark的conf目录下,配置Hive的元数据信息。xml version="1.0"encoding="UTF-8"?>hive.metastore.uris thrift://master:9083 ●hive.metastore.uris:Hive连接到该URL请求远程元存储的元数据。Spark SQL通过连接Hive提供的Metastore服务来获取Hive表的元数据。配置好hive-site.xml,就可以启动Metastore服务了,并把它做为后台进程。
使用Spark SQL,并使用Hive作为数据仓库,需要在安装了Hive的那台机器上的Spark的conf目录下,配置Hive的元数据信息。这样即使不启动Hive,Spark也能正常工作。
首先,进入到Spark安装目录下的conf目录,执行下面的指令:
vim hive-site.xml
将如下信息添加到hive-site.xml文件中:
<?xml version="1.0"encoding="UTF-8"?>
<configuration>
<property>
<name>hive.metastore.uris</name>(www.xing528.com)
<value>thrift://master:9083</value>
</property>
</configuration>
●hive.metastore.uris:Hive连接到该URL请求远程元存储的元数据。Spark SQL通过连接Hive提供的Metastore服务来获取Hive表的元数据。
●URL对应的值为thrift://master:9083。
配置好hive-site.xml,就可以启动Metastore服务了,并把它做为后台进程。
hive--servicemetastore>metastore.log 2>&1&
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。