Sqoop一次导入所有表主键和非主键表

Question

我们可以使用sqoop导入表，每次有主键和非主键。例如，我在数据库中创建200个主键表和200个非主键键表。我们可以一次导入400张表吗？

Answer 1

是的，您可以将标记--m 1添加到所有表格的导入命令中（包括主键的200个和没有它的200个）。 通过添加此选项，Sqoop将只使用一个映射来检索表中的所有数据，因此您的命令看起来就像是这样的：

sqoop import-all-tables --connect your-database --username user --password pwd --m 1 

Answer 2

除了杰米的答案：

你可以在您的sqoop import-all-tables...命令中添加--autoreset-to-one-mapper标记。

假设您在您的命令中使用了8个映射器（-m 8）。然后使用带有主键的上述标签表将根据映射器和表的数量分割，而不使用主键将使用1个映射器加载。

因此，整体上你的效率会提高。

查看第一点sqoop documentation的详细信息。