MRJob失败,Hadoop的错误copyToLocal:[...]没有这样的文件或目录
问题描述:
MRJob失败,错误MRJob失败,Hadoop的错误copyToLocal:[...]没有这样的文件或目录
我运行一个集群EMR使用MRJob一个简单的Hadoop工作。作业正常启动,但随后
Job launched 181.2s ago, status STARTING: Provisioning Amazon EC2 capacity
Job launched 211.4s ago, status STARTING: Provisioning Amazon EC2 capacity
Job launched 241.6s ago, status BOOTSTRAPPING: Running bootstrap actions
Job launched 271.8s ago, status BOOTSTRAPPING: Running bootstrap actions
Job on job flow j-7711LTEPTIOB failed with status SHUTTING_DOWN: On the master instance (i-bed4e153), bootstrap action 1 returned a non-zero return code
电子病历日志说以下
copyToLocal: `s3://[path-to-file]/mrjob.tar.gz': No such file or directory
但是我可以看到这个文件被复制,因为它是S3在正确的位置。
请帮忙!
答
明白了。该错误实际上是在[path-to-file]中。 My $ USER包含反斜杠'\',然后被MRJob用作S3上临时文件夹的名称。在S3目录名称中不接受'\'。解决方案是在虚拟环境中修改$ USER。