s3cmd 借助split分批实现文件同步备份

一直都在使用s3cmd工具对服务器进行同步备份,可是最近却出了点小问题,查证之后,发现是服务器文件打包后越来越大,达到了7G左右,导致s3cmd无法将其上传至amazon云端;

解决办法就是需要将打包的档案借助split先进行切割,在进行上传;

命令大致如下:

tar -zcvf - db_backup.sql webserver/ | openssl des3 -salt -k password | split -b 1024m - mybackup.des3_

这样,一个7.2G左右的档案,按照1G的大小切割,得到了7个1G的档案和一个0.2G的档案,然后在逐个使用s3cmd进行上传;

for filename in `ls mybackup.des3_*`
do
    s3cmd -v put $filename s3://mybackup/$filename
done

上传完之后,在AWS上对各个档案使用cat进行整合;

关于s3cmd的安装使用,做一下备注:

一、安装方法

方法一:(Debian/Ubuntu

wget -O- -q | sudo apt-key add -
wget -O/etc/apt/sources.list.d/s3tools.list
apt-get update && sudo apt-get install s3cmd

方法二:

wget
tar -zxf s3cmd-1.0.0.tar.gz -C /usr/local/
mv /usr/local/s3cmd-1.0.0/ /usr/local/s3cmd/
ln -s /usr/local/s3cmd/s3cmd /usr/bin/s3cmd

linux

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/1af0ff8b6af4fbeb7a0fc0b639bef9c4.html