阿里云OSS文件批量转移到腾讯云COS

易云易云 点滴记忆 2021年1月5日
2.43K 0

最近打算将一个项目的阿里云OSS文件转移到腾讯云COS，但是苦于小文件超级多，手动转移是不可能的，而使用宝塔挂载方式转移虽一定程度上可以，但是文件太多，宝塔还是不能完美的全部转移到腾讯云COS。后来易云了解到腾讯云官方有提供脚本Migration，可以批量从本地、阿里云、七牛、又拍云、AWS等云服务商转移到腾讯云，并且支持LINUX和WINDOWS！但是可惜的是不支持界面化操控，只有指令型。下面就介绍下易云操作过程。

一、腾讯云 COS Migration介绍

COS Migration 是一个集成了 COS 数据迁移功能的一体化工具。通过简单的配置操作，用户可以将源地址数据快速迁移至 COS 中，它具有以下特点：

  • 丰富的数据源：
    • 本地数据：将本地存储的数据迁移到 COS。
    • 其他云存储：目前支持 AWS S3，阿里云 OSS，七牛存储迁移至 COS，后续会不断扩展。
    • URL 列表：根据指定的 URL 下载列表进行下载迁移到 COS。
    • Bucket 相互复制：COS 的 Bucket 数据相互复制，支持跨账号跨地域的数据复制。
  • 断点续传：工具支持上传时断点续传。对于一些大文件，如果中途退出或者因为服务故障，可重新运行工具，会对未上传完成的文件进行续传。
  • 分块上传：将对象按照分块的方式上传到 COS。
  • 并行上传：支持多个对象同时上传。
  • 迁移校验：对象迁移后的校验。

二、下载Migration脚本

官方地址：https://github.com/tencentyun/cos_migrate_tool_v5

Windows可以直接下载到桌面，Linxu则推荐使用wget下载

易云为了方便挂服务器后台运行，所以使用的是云服务器的Centos
直接进入root 运行

wget https://github.com/tencentyun/cos_migrate_tool_v5/archive/master.zip

下载后解压压缩包

unzip master.zip

或者用宝塔文件管理去root目录解压

三、配置Migration脚本文件

配置文件在 Migration/conf/config.ini

按提示修改腾讯云的COS信息以及阿里云的key信息，注意的是

type值要改成migrateAli，例如：type=migrateAli 表示脚本执行阿里云OSS传送到COS

以及阿里云的endPoint=必须是公网地址，例如：endPoint=oss-cn-hongkong.aliyuncs.com

其他按提示配置即可，易云这只阿里云传送到腾讯云，所以只需要配置腾讯云COS和阿里云的OSS即可

四、安装Java环境

原本应该去甲骨文下载Java安装，但是这里必须吐槽的是甲骨文必须注册登陆账户才给下载，而注册需要填很多信息。

但是易云找到了一个免登陆下载的途径：https://adoptopenjdk.net/

1.Windows安装Java

下载地址：https://github.com/AdoptOpenJDK/openjdk11-binaries/releases/download/jdk-11.0.9.1%2B1/OpenJDK11U-jdk_x64_windows_hotspot_11.0.9.1_1.msi

直接运行安装即可

2.Linux安装Java

登陆SSH，直接运行下面指令：

创建java目录并进入目录

mkdir /usr/java
cd /usr/java

下载java安装包

wget https://github.com/AdoptOpenJDK/openjdk11-binaries/releases/download/jdk-11.0.9.1%2B1/OpenJDK11U-jdk_x64_linux_hotspot_11.0.9.1_1.tar.gz

解压安装包

tar -zxvf OpenJDK11U-jdk_x64_linux_hotspot_11.0.9.1_1.tar.gz

设置Java环境，实际请按解压出来的目录设置

set java environment
JAVA_HOME=/usr/java/改为解压出来的目录
JRE_HOME=/usr/java/改为解压出来的目录/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

生效环境修改

source /etc/profile

测试Java是否安装成功，如返回Java版本信息表示安装成功了!

java -version

五、运行Migration脚本执行转移

先进入Migration目录，例如：cd ./Migration

然后运行

sh start_migrate.sh

如果正在转移会显示如图所示，转移信息

腾讯云官方doc文档：https://cloud.tencent.com/document/product/436/15392

cos(2)Migration(1)OSS(1)腾讯云(7)阿里云(1)
本文由 易云博客 作者：易云 发表，其版权均为 易云博客 所有，文章内容系作者个人观点，不代表 易云博客 对观点赞同或支持。如需转载，请注明文章来源。
♥赞130

相关文章