gsutil cp命令的性能下降
问题描述：
我们观察到，将单个文件复制到谷歌存储的命令gsutil cp要好得多，因为很少有这样的过程将不同的单个文件复制到谷歌存储上的不同位置。当时的正常速度是〜50mbps。但由于“gsutil cp”流程将单个文件复制到谷歌存储的速度有所增加，这些日子的平均速度已降至〜10mbps。gsutil cp命令的性能下降
我想“gsutil -m cp”命令不会提高性能，因为只有1个文件需要复制。
由于gsutil cp进程复制许多单个文件的数量增加，可以归因于这种低速度。我们能做些什么来提高这些流程的速度
答
gsutil可以并行上传单个大文件。它通过将文件的一部分作为单独的对象上传到GCS中，然后让GCS将它们组合在一起，然后删除单个子对象来完成。
N.B.因为这涉及上传对象，然后几乎立即删除它们，所以不应在Nearline存储桶中执行此操作，因为删除最近上载的对象需要额外付费。
您可以设置gsutil将使用此行为的文件大小。试试这个：在功能
gsutil -o GSUtil:parallel_composite_upload_threshold=100M cp bigfile gs://your-bucket
更多的文档可以在这里找到：https://cloud.google.com/storage/docs/gsutil/commands/cp#parallel-composite-uploads
是否适用于压缩文件此命令的工作呢？ –
我不知道我理解你的问题。你的意思是文件本身被压缩，就像一个zip压缩文件，或者文件被压缩传输到GCS？ –
我的意思是这个文件已经被压缩了，我们正在复制一个压缩文件。那么你建议的这种方法会不会起作用？ –