MRJob失败,Hadoop的错误copyToLocal:[...]没有这样的文件或目录

问题描述:

MRJob失败,错误MRJob失败,Hadoop的错误copyToLocal:[...]没有这样的文件或目录

我运行一个集群EMR使用MRJob一个简单的Hadoop工作。作业正常启动,但随后

Job launched 181.2s ago, status STARTING: Provisioning Amazon EC2 capacity 
Job launched 211.4s ago, status STARTING: Provisioning Amazon EC2 capacity 
Job launched 241.6s ago, status BOOTSTRAPPING: Running bootstrap actions 
Job launched 271.8s ago, status BOOTSTRAPPING: Running bootstrap actions 
Job on job flow j-7711LTEPTIOB failed with status SHUTTING_DOWN: On the master instance (i-bed4e153), bootstrap action 1 returned a non-zero return code 

电子病历日志说以下

copyToLocal: `s3://[path-to-file]/mrjob.tar.gz': No such file or directory 

但是我可以看到这个文件被复制,因为它是S3在正确的位置。

请帮忙!

明白了。该错误实际上是在[path-to-file]中。 My $ USER包含反斜杠'\',然后被MRJob用作S3上临时文件夹的名称。在S3目录名称中不接受'\'。解决方案是在虚拟环境中修改$ USER。