利用aws构建数据仓库(二):创建s3存储桶以存储数据

1.在aws上构建数据仓库与利用开源社区软件构建数据仓库在数据存储上有一个很大的不同点。apache版hadoop在进行计算和存储时,是利用hdfs。而emr的hadoop在存储时,可以利用s3作为存储。emr的hadoop在计算时,中间结果没有直接放入本地硬盘,而是放入了core节点上的hdfs目录。

2.Amazon S3简介:专为从任意位置存储和检索任意数量的数据而构建的对象存储,提供11个9的可靠性。

利用aws构建数据仓库(二):创建s3存储桶以存储数据

详情见:https://amazonaws-china.com/cn/s3/?nc2=h_m1

3.选择服务S3,点击创建存储桶

利用aws构建数据仓库(二):创建s3存储桶以存储数据

4.输入存储桶名称和区域,点击下一步。存储桶名称要求唯一,建议公司名称+warehouse

注意:S3存储桶的区域要和EMR在一个区域

利用aws构建数据仓库(二):创建s3存储桶以存储数据

5.根据需要设置属性,点击下一步

利用aws构建数据仓库(二):创建s3存储桶以存储数据

6.设置权限,默认设置即可,点击下一步。

利用aws构建数据仓库(二):创建s3存储桶以存储数据

7.审核后,点击创建存储桶。

利用aws构建数据仓库(二):创建s3存储桶以存储数据

8.在s3的控制台就能看见多了一个叫dfwarehouse-test的存储桶

9.进入dfwarehouse-test存储桶,看见这个存储桶是空的。可以在这个存储桶创建文件夹以及上传和下载文件。这样S3存储桶就创建成功了。

利用aws构建数据仓库(二):创建s3存储桶以存储数据