Amazon Redshift COPY与转换

问题描述：

Redshift有一个COPY操作，允许您将文件从S3复制到Redshift（http://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html）。Amazon Redshift COPY与转换

在S3中的.json文件是“脏”的;它们没有准备好直接复制到Redshift中，需要首先通过转换运行。我的问题是：是否需要编写新的清理过的JSON文件传回S3，然后从这些清除的文件进行复制，或者是有一种方式来运行经历这种转变的jsons作为复制过程的一部分？

答

@tommy

复制操作只允许几个简单像DATETIME格式更改，NULL占位符等转换。

要广泛地清理您的d ata，你可能需要编写自己的程序并将结果转储回S3，然后才能将其复制到红移中。

如果您的数据很小，您可以使用AWS SDK（可用Java，PHP和Python版本）编写一个简单的程序来执行ETL并将其加载到redshift中。我们使用Amazon EMR，HIVE和SerDe（JSON）编解码器来创建逻辑HIVE表，使用HQL应用转换，并转储清理后的数据返回到S3作为TAB分隔文件。然后，我们使用标准的COPY命令将结果加载到红移中。我们还使用Amazon Data Pipeline来编排和自动化此工作流程。

Ex。 HIVE脚本

add jar s3://elasticmapreduce/samples/hive-ads/libs/jsonserde.jar; --SerDe codec 

CREATE EXTERNAL TABLE source_table_name (column_a string, column_b date) row format 
    serde 'com.amazon.elasticmapreduce.JsonSerde' 
    with serdeproperties ( 
     'paths'='column_a, column_b' 
    ) LOCATION 's3a://your-bucket-name/source-directory-path/'; 

CREATE EXTERNAL TABLE dest_table_name (column_a string, column_b date) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION 's3n://your-bucket-name/dest-directory-path/'; 

INSERT INTO dest_table_name select * from source_table_name;

当然，上面显示的示例只是重新格式化数据。您可能需要根据您的用例添加额外的转换。

希望这会有所帮助。

Amazon Redshift COPY与转换

相关推荐