阿里云OSS文件批量转移到腾讯云COS

最近打算将一个项目的阿里云OSS文件转移到腾讯云COS,但是苦于小文件超级多,手动转移是不可能的,而使用宝塔挂载方式转移虽一定程度上可以,但是文件太多,宝塔还是不能完美的全部转移到腾讯云COS。后来易云了解到腾讯云官方有提供脚本Migration,可以批量从本地、阿里云、七牛、又拍云、AWS等云服务商转移到腾讯云,并且支持LINUX和WINDOWS!但是可惜的是不支持界面化操控,只有指令型。下面就介绍下易云操作过程。

一、腾讯云 COS Migration介绍

COS Migration 是一个集成了 COS 数据迁移功能的一体化工具。通过简单的配置操作,用户可以将源地址数据快速迁移至 COS 中,它具有以下特点:

  • 丰富的数据源:
    • 本地数据:将本地存储的数据迁移到 COS。
    • 其他云存储:目前支持 AWS S3,阿里云 OSS,七牛存储迁移至 COS,后续会不断扩展。
    • URL 列表:根据指定的 URL 下载列表进行下载迁移到 COS。
    • Bucket 相互复制:COS 的 Bucket 数据相互复制,支持跨账号跨地域的数据复制。
  • 断点续传:工具支持上传时断点续传。对于一些大文件,如果中途退出或者因为服务故障,可重新运行工具,会对未上传完成的文件进行续传。
  • 分块上传:将对象按照分块的方式上传到 COS。
  • 并行上传:支持多个对象同时上传。
  • 迁移校验:对象迁移后的校验。

二、下载Migration脚本

官方地址:https://github.com/tencentyun/cos_migrate_tool_v5

Windows可以直接下载到桌面,Linxu则推荐使用wget下载

易云为了方便挂服务器后台运行,所以使用的是云服务器的Centos
直接进入root 运行

wget https://github.com/tencentyun/cos_migrate_tool_v5/archive/master.zip

下载后解压压缩包

unzip master.zip

或者用宝塔文件管理去root目录解压

三、配置Migration脚本文件

配置文件在 Migration/conf/config.ini

按提示修改腾讯云的COS信息以及阿里云的key信息,注意的是

type值要改成migrateAli,例如:type=migrateAli 表示脚本执行阿里云OSS传送到COS

以及阿里云的endPoint=必须是公网地址,例如:endPoint=oss-cn-hongkong.aliyuncs.com

其他按提示配置即可,易云这只阿里云传送到腾讯云,所以只需要配置腾讯云COS和阿里云的OSS即可

四、安装Java环境

原本应该去甲骨文下载Java安装,但是这里必须吐槽的是甲骨文必须注册登陆账户才给下载,而注册需要填很多信息。

但是易云找到了一个免登陆下载的途径:https://adoptopenjdk.net/

1.Windows安装Java

下载地址:https://github.com/AdoptOpenJDK/openjdk11-binaries/releases/download/jdk-11.0.9.1%2B1/OpenJDK11U-jdk_x64_windows_hotspot_11.0.9.1_1.msi

直接运行安装即可

2.Linux安装Java

登陆SSH,直接运行下面指令:

创建java目录并进入目录

mkdir /usr/java
cd /usr/java

下载java安装包

wget https://github.com/AdoptOpenJDK/openjdk11-binaries/releases/download/jdk-11.0.9.1%2B1/OpenJDK11U-jdk_x64_linux_hotspot_11.0.9.1_1.tar.gz

解压安装包

tar -zxvf OpenJDK11U-jdk_x64_linux_hotspot_11.0.9.1_1.tar.gz

设置Java环境,实际请按解压出来的目录设置

set java environment
JAVA_HOME=/usr/java/改为解压出来的目录
JRE_HOME=/usr/java/改为解压出来的目录/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

生效环境修改

source /etc/profile

测试Java是否安装成功,如返回Java版本信息表示安装成功了!

java -version

五、运行Migration脚本执行转移

先进入Migration目录,例如:cd ./Migration

然后运行

sh start_migrate.sh

如果正在转移会显示如图所示,转移信息

腾讯云官方doc文档:https://cloud.tencent.com/document/product/436/15392

本文由 易云博客 作者:易云 发表,其版权均为 易云博客 所有,文章内容系作者个人观点,不代表 易云博客 对观点赞同或支持。如需转载,请注明文章来源。
3

发表评论