将Amazon,S3将数据迁移到阿里云OSS上( 二 )


文章图片
创建角色时 , ” Choose a use case”选择Redshift服务 , 并选择Redshift-Customizable的”use case”
将Amazon,S3将数据迁移到阿里云OSS上
文章图片
3.2.2 添加读写S3的权限策略
Attach permissions policies时 , 添加具备写S3的Policy , 本方案选择使用 AmazonS3FullAccess
将Amazon,S3将数据迁移到阿里云OSS上
文章图片
3.2.3为IAM Role命名并完成IAM 角色创建
本方案中命名为redshift_s3_role
将Amazon,S3将数据迁移到阿里云OSS上
文章图片
打开刚定义的role并复制角色ARN , unload命令将会使用该Role ARN访问S3.
3.2.4Redshift集群添加IAM Role以获取访问S3权限
进入Redshift集群列表 , 选择需要迁移的集群 , 在”Action”列表中选择”Manage IAM Role”菜单 , 进行IAM角色的关联 。
将Amazon,S3将数据迁移到阿里云OSS上
文章图片
将已经成功创建的具备访问S3权限的IAM Role角色添加到集群可用IAM roles列表以获取Redshift对S3读写的权限并保存生效:
将Amazon,S3将数据迁移到阿里云OSS上
文章图片
查看添加的IAM roles , 确认集群已经添加了前文创建的redshift_s3_role角色 。
将Amazon,S3将数据迁移到阿里云OSS上
文章图片
使用unload命令将Redshift数据库中需要迁移的表以Parquet格式导出到S3对应的目录下 。
命令如下(需要替换目录及iam role信息)
通过Redshift的Editor(客户端工具同样可以提交 , 客户端工具支持一次提交多行unload命令)提交导出数据到S3命令:
将Amazon,S3将数据迁移到阿里云OSS上
文章图片
在S3对应的bucke目录下检查导出的数据:
将Amazon,S3将数据迁移到阿里云OSS上
文章图片
保存的格式为符合预期的Parquet格式:
将Amazon,S3将数据迁移到阿里云OSS上
文章图片
4 迁移AWS S3数据到阿里云OSS
4.1.1 阿里云对象存储OSS准备
1.在阿里云侧 , 需要在目标region准备好需要保存迁移数据的OSS目录:
将Amazon,S3将数据迁移到阿里云OSS上
文章图片
登录RAM 控制台 。