将Amazon,S3将数据迁移到阿里云OSS上( 二 )
文章图片
创建角色时 , ” Choose a use case”选择Redshift服务 , 并选择Redshift-Customizable的”use case”
文章图片
3.2.2 添加读写S3的权限策略
Attach permissions policies时 , 添加具备写S3的Policy , 本方案选择使用 AmazonS3FullAccess
文章图片
3.2.3为IAM Role命名并完成IAM 角色创建
本方案中命名为redshift_s3_role
文章图片
打开刚定义的role并复制角色ARN , unload命令将会使用该Role ARN访问S3.
3.2.4Redshift集群添加IAM Role以获取访问S3权限
进入Redshift集群列表 , 选择需要迁移的集群 , 在”Action”列表中选择”Manage IAM Role”菜单 , 进行IAM角色的关联 。
文章图片
将已经成功创建的具备访问S3权限的IAM Role角色添加到集群可用IAM roles列表以获取Redshift对S3读写的权限并保存生效:
文章图片
查看添加的IAM roles , 确认集群已经添加了前文创建的redshift_s3_role角色 。
文章图片
使用unload命令将Redshift数据库中需要迁移的表以Parquet格式导出到S3对应的目录下 。
命令如下(需要替换目录及iam role信息)
通过Redshift的Editor(客户端工具同样可以提交 , 客户端工具支持一次提交多行unload命令)提交导出数据到S3命令:
文章图片
在S3对应的bucke目录下检查导出的数据:
文章图片
保存的格式为符合预期的Parquet格式:
文章图片
4 迁移AWS S3数据到阿里云OSS
4.1.1 阿里云对象存储OSS准备
1.在阿里云侧 , 需要在目标region准备好需要保存迁移数据的OSS目录:
文章图片
登录RAM 控制台 。
- 金十数据|中国7月制造业交亮眼成绩单!上半年美国对华投资增长6%,好消息
- 金十数据|苹果欲向印转移6条生产线,印度手机市场混战:三星份额紧追小米
- 餐厅|大数据显示:二季度餐厅服务员求职环比上升超150%,快递员收入第一
- 美剧去哪看|状元们最后都干什么?权势巨子数据显示,3300名状元,最后只是……
- 中国天气网|哪些台风与“黑格比”相似,大数据看8月台风
- 新闻科技快报 华云数据用创新技术夯实中国信创“云基座”
- 问董秘|因为公司的发动机产品满足国六标准...,投资者提问:在公司营销数据和半年报中发现
- 天擎|海纳百川 风云际会——气象大数据云平台“天擎”
- 大数据看8月台风 哪些台风与“黑格比”相似
- 黑格比|大数据看8月台风 哪些台风与“黑格比”相似