如何快速传大文件到海外服务器?
如果可以将大数据带到海外服务器中,你可以使用大数据执行许多操作。你可以使用它进行商业数据分析,并获得有价值的见解。你可以随时随地将它提供给消费者和客户,以促进更好的协作和产品分发。再者,也可以简单的存储以便妥善保管。
不断变大的问题
在你可以利用这些大数据之前,你需要克服一个很大的障碍 – 传送所有大数据。然而,将大数据从一个点移动到另一个点需要大量的工作。
如今数据量如何以惊人的速度增长,因为公司每次交易以及与客户和消费者的互动时收集的数据日益增多。在医疗保健,安全,零售,公用事业,制造和运输等领域,不仅通过计算机终端等传统接口,还通过RFID标签和各种传感器收集数据。 数据收集过程中会产生的一些单个文件比以前大很多。例如,在医疗保健中,临床数据现在可以以图像(例如,来自X射线,CT扫描和超声)和视频的形式出现。仅从一名患者收集的成像数据很容易消耗几个GB的存储空间。
如果你认为这很重要,请看下波音737系统监视器收集的数据量。单个737的单个越野飞行已经可以产生240TB的数据。
即使我们普通大众也愿意为大数据的爆炸性增长做出贡献,因为我们越来越多的人创建和使用多媒体,在线交易,通过社交媒体互动,使用移动设备,每天都在产生大量的数据。
仅仅必须移动到云端的所有数据的庞大规模已经可以改变游戏规则。但实际上,大数据的大小只是冰山一角。
大数据传输需要多长时间?
现在我们已经了解了我们正在处理的数据大小,现在是时候讨论我们手头的传输机制的能力了。由于将数据传输的常用方法是通过Internet连接,因此了解当前的典型带宽大小非常重要。
中国的中小型企业通常具有互联网连接,一般公司拉100Mbps的ADSL,上传速度达到40Mbps(每秒兆比特)。以这个速度,100 GB上传需要大约6小时才能完成。另一方面,因为中国国情,对国际出口带宽有一定限制,大多数人的上传速度仅为5 Mbps左右。理论上,这将转换为相同跨国传输100 GB的文件需要2天才能上传到海外。
那些处理数TB数据的公司怎么办?
对于处理数百TB的公司,例如那些提供电影下载服务的公司,以这些速度上传文件根本不可行。 很明显,当你把大数据的大小和带宽(即你的互联网连接)放在一起时,你将要面临一个非常缓慢的过程。
这就是为什么即使亚马逊为那些正在寻找更快的解决方案来将数据量移动到云中的客户提供“手动”传输服务。此服务称为AWS Import / Export,涉及运送便携式存储设备,其数据内容加载到Amazon S3。
增加带宽当然看起来像一个逻辑解决方案,不幸的是,文件大小和带宽并不是影响大数据传输的唯一因素。这些上传速度实际上只是理论上的。在现实世界中,你实际上无法根据带宽和文件大小估算上传时间。那是因为你需要考虑更多的东西。其中一个是你将要将文件上传到海外服务器的特定部分。距离越远,上传时间越长。
我们遇到的问题
问题的根源在于我们通常用于传输文件的网络技术(或协议)的本质,即TCP(传输控制协议)。TCP对延迟和丢包等网络状况非常敏感。遗憾的是,当你必须通过广域网(WAN)传输大文件时,它实际上位于你的离线数据和目标之间,延迟和数据包丢失会对你的传输产生重大影响。
现在,我要说的是,即使你增加带宽,延迟和数据包丢失也会大大降低你的有效吞吐量(实际传输速度)。同样,对于你的海外服务器而言,你的有效吞吐量仅为50%,甚至更低。
将文件传输到海外服务器的更快捷方式
将大文件传输到海外服务器的更好方法是利用称为Raysync(大文件传输加速协议)的混合传输协议。该协议是一种TCP / UDP混合,可以将文件传输速度提高到95%以上,实际上可以消除延迟和数据包丢失的影响。
由于Raysync需要由Raysync服务器端支持,你可以将它部署在EC2实例的亚马逊服务器上,然后用它来提供Raysync文件传输服务。对于预算的问题,你可以点击大文件传输的超链到官网的下载按钮,里面提供免费版本提供测试运行。设置好服务器之后,你就可以通过支持Raysync的文件传输客户端,或本地测试安装的Raysync Server上传文件。
只要将所有数据移动到海外服务器,就可以将其提供给其他针对海外客户和消费者的服务。