Spark - 如何在读取时跳过或忽略空的gzip文件

Question

我有几百个文件夹，每个文件夹都有数千个gzip文件，我试图用spark.read.csv()将它们读入数据框。

在这些文件中，有一些与长度为零，导致错误：

java.io.EOFException: Unexpected end of input stream

代码：

df = spark.read.csv('s3n://my-bucket/folder*/logfiles*.log.gz',sep='\t',schema=schema) 

我已经尝试设置mode到DROPMALFORMED与sc.textFile()但阅读没有运气。

处理空的或损坏的gzip文件的最佳方法是什么？

Answer 1

从Spark 2.1开始，您可以通过启用spark.sql.files.ignoreCorruptFiles选项来忽略损坏的文件。将此添加到您的spark-submit或pyspark命令中：

--conf spark.sql.files.ignoreCorruptFiles=true