如何在aws emr上启动-t ColumnMapKeyPrune

Question

在我的猪脚本中，我希望文件名与每个记录进行一些进一步处理，所以我使用了-tagFile选项。现在，使用-tagFile选项后，列名都拿到未对齐所以我用下面的命令参照这个博客后，只得到所需的列：http://www.webopius.com/content/764/resolved-apache-pig-with-tagsource-tagfile-option-generates-incorrect-columns

猪-x MapReduce的-t ColumnMapKeyPrune

现在我想在AWS EMR上运行脚本，但我不确定如何在EMR Pig上启用此-t ColumnMapKeyPrune选项。

我正在使用AWS CLI创建aws集群并提交作业。 有关如何在EMR Pig上启用-t ColumnMapKeyPrune的任何指针。

Answer 1

我得到了解决方案。我需要在猪脚中添加以下行：

set pig.optimizer.rules.disabled 'ColumnMapKeyPrune';