我使用Sqoop(版本1.4.4)将数据从MySQL导入Hive.数据将是一个表的子集,即表中的几列.是否有必要事先在Hive中创建表.或者,如果数据不在Hive中,则导入数据将创建命令中指定的名称?
最佳答案
如sqoop documentation中所述,如果在命令中使用–hive-import参数,则不必创建任何配置单元表
例:
sqoop import --connect jdbc:mysql://mysql_server:3306/db_name --username mysql_user --password mysql_pass --table table_name --hive-import
另外……如果要在每日基础上安排完整数据导入,请考虑使用–hive-overwrite参数