首页 理论教育 从Hive导出数据到MySQL数据库的步骤

从Hive导出数据到MySQL数据库的步骤

时间:2023-06-24 理论教育 版权反馈
【摘要】:创建MySQL 表将Hive 中的表数据导出到MySQL 中,在进行导出之前,MySQL 中的表必须已经提前创建好。将Hive 数据导出到MySQL通过Sqoop Export 命令将Hive 的apachedb 数据库中的分区表“employee_partition”中的数据导出到MySQL 的“employee_hive_beijing”表中。需要将这两个文件的数据导出到MySQL 的“employee_hive_beijing”表中。切换到Sqoop安装目录下的bin 目录,执行命令为:图9.16“employee_partition”表数据内容上述命令中的参数说明如下:--table employee_hive_beijing:指定MySQL 的表名,也就是导出的目标表。

从Hive导出数据到MySQL数据库的步骤

(1)创建MySQL 表

将Hive 中的表数据导出到MySQL 中,在进行导出之前,MySQL 中的表必须已经提前创建好。在MySQL 的sqoop_test 数据库中创建表“employee_hive_beijing”,与Hive 中的分区表“employee_partition”兼容。

(2)将Hive 数据导出到MySQL

通过Sqoop Export 命令将Hive 的apachedb 数据库中的分区表“employee_partition”中的数据导出到MySQL 的“employee_hive_beijing”表中。“employee_partition”表在Hive 中存储为“/user/hive/warehouse/apachedb.db/employee_partition/city =beijing”目录下的两个文件“000000_0”和“employeeinfo1.txt”,内容如图9.16 所示。

需要将这两个文件的数据导出到MySQL 的“employee_hive_beijing”表中。切换到Sqoop安装目录下的bin 目录,执行命令为:

图9.16 “employee_partition”表数据内容

上述命令中的参数说明如下:(www.xing528.com)

--table employee_hive_beijing:指定MySQL 的表名,也就是导出的目标表。

--export-dir /user/hive/warehouse/apachedb.db/employee_partition/city =beijing:指定Hive中将要导出的数据文件的位置。

--input-fields-terminated-by ',':指定Hive 表数据的字段分隔符为“,”。

--input-lines-terminated-by '\n':指定Hive 表数据行分隔符为“\n”。

(3)查看结果

查询MySQL 中的“employee_hive_beijing”表,结果如图9.17 所示。

图9.17 导出到MySQL 的“employee_hive_beijing”表数据

与图9.16 进行对比可以看出,Sqoop Export 将数据从Hive 导出到MySQL 操作成功。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈