使用ssh远程执行命令批量导出数据库到本地

前天正在跟前端的同事调试功能。服务器开好,模拟的玩家登录好,就在倒计时。这时突然运营的同事跑过来说要统计几个服务器玩家的一些情况,也就是需要从几个服的数据库导出部分玩家的数据。好吧,我看了一下时间,11:47。心想,跟前端调试完,去吃个饭再午休一下那就下午再给吧。没想对方来一句"就导个数据库而已,要这么久么?",而且还是直接跟我上司说的。我嚓,好吧,我导。可问题来了,平时的统计是由php做的,批量部署这些是由运维做的。服务端完全没有对应的工具。而且服务器是在阿里云上的,数据库的用户是限制了ip段登录的,我所在的ip没法登录的。于是,只好终止调试,切ip,写sql,然后用navicat手动一个个服务器导出数据到excel。

  事后想想,还是写个脚本吧,不然以后还是会被坑的。

  从环境来看,数据库不能直接登录,没法直接导出。不过可以由运维提供key通过ssh登录到远程服务器再将数据导出到本地。

  先配置ssh通过key登录服务器。这里略过...

  然后就是通过ssh执行命令。先看一下ssh的帮助文档:

usage: ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec]
          [-D [bind_address:]port] [-E log_file] [-e escape_char]
          [-F configfile] [-I pkcs11] [-i identity_file]
          [-L [bind_address:]port:host:hostport] [-l login_name] [-m mac_spec]
          [-O ctl_cmd] [-o option] [-p port]
          [-Q cipher | cipher-auth | mac | kex | key]
          [-R [bind_address:]port:host:hostport] [-S ctl_path] [-W host:port]
          [-w local_tun[:remote_tun]] [user@]hostname [command]

最后一项就是执行指令的。假如远程服务器地址为180.97.33.108,开启的ssh端口为998,ssh用户名为linuxidc,然后想通过在远程服务器上执行命令ls,那么脚本应该这么写:

ssh linuxidc@180.97.33.108 -p 998 "ls"

如果ssh的认证key已配置好,那么会把登录后当前目录下的文件列出来,当然第一次登录会提示保存远程服务器的指纹。现在是要导出数据库的数据,那么需要把ls命令换成导出数据库的命令。

echo "select * from user;" | mysql linuxidc_db -uxzc -plinuxidcpwd
#或者
mysql linuxidc_db -uxzc -plinuxidcpwd -e "select * from user"

上面两命令都可以使用数据库用户linuxidc,密码xzcpwd从数据库linuxidc_db打印出user表,使用的是默认的本地数据库地址localhost,默认的端口。如果不是默认,需要指定。

登录OK了,打印也OK了,那么下一步就是导出到文件了。这在bash也就是一个 > 的事。把上面的命令拼起来就是:

ssh linuxidc@180.97.33.108 -p 998 'echo "select * from user;" | mysql linuxidc_db -uxzc -plinuxidcpwd' > user.txt

这样就把user表导出来本地的user.txt中了。注意"> user.txt"如果放到 ''里则是在远程服务器执行,导出的文件在远程服务器。文件现在也有了,不过是txt,这样交给运营不太好吧。那就导出excel吧。不过遗憾的是我查了N多资料,也找不到mysql不依赖第三方插件或工具导出原生excel的方法。而navicat导出的可是货真价实的excel,如果用notepad++之类的文本工具打开是会乱码的,并且导出的文件不会有编码问题。幸好如果一个txt以tab分割的话,excel也是能认得出来的。于是把user.txt改名user.xls就可以了。但这样做的问题是excel会按自己的方式处理内容的。比如把一个很大的数字转换成科学记数法形式。这些都得手动去处理一下了。

最后,就是写成脚本批量操作了。附上我使用的脚本一个:

#!/bin/bash

# 通过ssh远程执行远程指令
# 需要先部署key认证,保证ssh只需要ip、port即可连接
# 如果需要和远程服务器交互,请参考ssh的-t、-tt参数
# 如果需要反复登录服务器执行多条指令,请使用ssh的通道重用
# 参考:
# 使用通道需要注意退出通道,如"ssh github.com -O exit"或者"ssh github.com -O stop"
#                                              --by coding my life

#分别设置ssh用户名、数据库用户名、数据库密码、导出数据
SSH_USER='linuxidc_ssh'
DB_USER='linuxidc_db'
DB_PWD='linuxidc_db_pwd123'
EXP_PATH=export_data/

# 执行远程命令
# $1 服务器ip
# $2 ssh端口
# $3 指令
function exec_remote_command()
{
    ssh $SSH_USER@$1 -p $2 '$3'
}

# 执行远程sql,导出数据
# $1 服务器ip
# $2 ssh端口
# $3 指令,多个sql指令如select * from user;select * from bag;也可执行,但结果将会写到同一个文件
# s4 服务器
# $5 导出文件
function export_remote_sql()
{
    echo export from $4 ...
    cmd="echo \"$3\" | mysql $4 -u$DB_USER -p$DB_PWD --default-character-set=utf8"

ssh $SSH_USER@$1 -p $2 "$cmd" > $EXP_PATH$4_$5    #如果要导出到远程服务器,将把 > $EXP_PATH$4_$5放到cmd中
}

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/9af401568255bb98779465f46ed7707d.html