shell实例——获取FTP/SFTP远程文件
使用Unix/Linux系列操作系统就离不开shell，shell本质是和GUI一样作为用户和操作系统之间的接口而存在，它实际上是一个能够解释和分析用户键盘输入，执行输入的命令，然后返回结果的解释程序。由于占用资源少，而且具有批处理功能，实际开发和维护当中掌握必要的shell技能，势必会大大提升工作效率。
以下记录了一个shell脚本实例，是为解决实际生产问题而编写。我使用的是AIX下语法较严格的kshell。
需求描述
深证通会将基金公司的确认数据文件（开户、认申购定投、赎回分红等等）发送给对接过的小站，最终体现就是不同的小站各推到接收方一个独立的文件夹（文件夹以小站号命名）。我作为接收方有一台存储服务器用于接收小站文件，此时另外一台应用服务器需要从存储服务器获取确认数据文件。数据文件按类别不同分别有03、04、06等结尾的，每天会有更新。要求是获取每天的04、06新文件，每天的文件分别放在当天日期命名的文件夹下。
# 远端存储服务器目录结构 |——download |——k0001 | |——YYYYMMdd_xx_xxx_xxxxxxxx_03.TXT | |——YYYYMMdd_xx_xxx_xxxxxxxx_04.TXT | |——YYYYMMdd_xx_xxx_xxxxxxxx_06.TXT | └──... |——k0253 | |——OFD_xx_xxx_YYYYMMdd_03.TXT | |——OFD_xx_xxx_YYYYMMdd_04.TXT | |——OFD_xx_xxx_YYYYMMdd_06.TXT | └──.... |──zdfile | |——YYYYMMdd_xx_xxx_xxxxxxxx_03.TXT | |——YYYYMMdd_xx_xxx_xxxxxxxx_04.TXT | |——YYYYMMdd_xx_xxx_xxxxxxxx_06.TXT | |——OFD_xx_xxx_YYYYMMdd_03.TXT | |——OFD_xx_xxx_YYYYMMdd_04.TXT | |——OFD_xx_xxx_YYYYMMdd_06.TXT | └──.... └──...
环境介绍
操作系统
AIX
$ oslevel 7.1.0.0 $ echo $SHELL /usr/bin/ksh $ expect -v expect version 5.42.1
代码实现
1、定义变量
首先定义变量给定参数，包括FTP/SFTP的用户信息和路径，小站文件夹名称，这里我用数组来存放小站文件夹名称，等下就可以遍历数组获取文件，后续维护也比较方便。可以直接在脚本里写好参数，也可以用传参的方式。
# 接收参数 localPath=$1 remotePath=$2 serverIP=$3 sftpUser=$4 sftpPass=$5 # 定义变量 SYSDATE=`date +%Y%m%d` STATION_ARR[0]="k0001" STATION_ARR[1]="k0253" STATION_ARR[2]="zdfile"
2、处理文件夹
先判断本地是否存在当日日期文件夹，不存在则创建文件夹，并赋予权限755，然后转到该目录下。
# [函数]处理日期文件夹
createForlder()
{
cd $1
if [[ ! -d ${SYSDATE} ]]; then
mkdir ${SYSDATE}
chmod 755 ${SYSDATE}
fi
cd ${SYSDATE}
}3、非交互式远程登录
要想通过shell脚本登录FTP，就需要使用非交互式的方式让脚本自动填充指令信息，FTP使用-n参数打开非交互式操作
# FTP非交互式操作
ftp_download()
{
ftp -n $1 <<!
user $2 $3
prom
bin
cd $4
mget *$sysdate*04.*
mget *$sysdate*06.*
bye
!
}如果使用的是SFTP协议，那么此协议是没有提供非交互式参数可以使用的，此时有两种方案可以解决，一种就是让远程服务器端保存本机的MAC密钥，从而自动验证免密登录。当然对于很多对安全性要求较高的情况来说是不允许这种方式的。另外一种就是使用自动化交互工具expect，具体实现如下：
# SFTP非交互式操作
sftp_download()
{
expect <<- EOF
set timeout 5
spawn sftp $1@$2
expect {
"(yes/no)?" {send "yes\r"; expect_continue}
"password:" {send "$3\r"}
}
expect "sftp>"
send "cd $4\r"
set timeout -1
expect "sftp>"
send "mget *$sysdate*04.*\r"
expect "sftp>"
send "mget *$sysdate*06.*\r"
expect "sftp>"
send "bye\r"
EOF
}4、遍历小站获取文件
循环遍历数组STATION_ARR[]获得小站文件夹名称，并拼接好远程路径remoteDir，然后调用函数ftp_download或sftp_download获取文件。
for station in ${STATION_ARR[@]}; do
remoteDir=${remotePath}${station}
ftp_download ${serverIP} ${sftpUser} ${sftpPass} ${remoteDir}
# sftp_download ${sftpUser} ${serverIP} ${sftpPass} ${remoteDir}
done至此，需求功能已全部实现。完整脚本代码如下：
#!/usr/bin/ksh
############################################################
## 功能：从存储服务器获取确认文件
## By xiaosong 2017-12-31
############################################################
#------------------------参数说明----------------------------
#--接收
# localPath -本地文件路径
# remotePath -远程文件路径
# serverIP -远程服务器IP
# sftpUser -sftp用户名
# sftpPass -sftp密码
#--变量
# SYSDATE -系统日期
# STATION_ARR[] -小站文件夹数组，新增小站增加此数组即可
#-----------------------------------------------------------
# 接收参数
localPath=$1
remotePath=$2
serverIP=$3
sftpUser=$4
sftpPass=$5
# 定义变量
SYSDATE=`date +%Y%m%d`
STATION_ARR[0]="k0001"
STATION_ARR[1]="k0253"
STATION_ARR[2]="zdfile"
# [函数]处理日期文件夹
createForlder()
{
cd $1
if [[ ! -d ${SYSDATE} ]]; then
mkdir ${SYSDATE}
chmod 755 ${SYSDATE}
fi
cd ${SYSDATE}
}
# [函数]SFTP非交互式操作
sftp_download()
{
expect <<- EOF
set timeout 5
spawn sftp $1@$2
expect {
"(yes/no)?" {send "yes\r"; expect_continue}
"password:" {send "$3\r"}
}
expect "sftp>"
send "cd $4\r"
set timeout -1
expect "sftp>"
send "mget *$sysdate*04.*\r"
expect "sftp>"
send "mget *$sysdate*06.*\r"
expect "sftp>"
send "bye\r"
EOF
}
# 获取中登文件
createForlder ${localPath}
for station in ${STATION_ARR[@]}; do
remoteDir=${remotePath}${station}
sftp_download ${sftpUser} ${serverIP} ${sftpPass} ${remoteDir}
done完善脚本
1、参数校验
脚本功能函数执行前，可以校验是否传递了完整的参数。若参数个数不对，则直接退出脚本终止执行。
if [[ $# != 5 ]]; then
exit
fi2、日志
为脚本增加日志函数，记录脚本运行情况，作为历史记录归档，也方便回查定位问题。
SYSTIME=`date '+%Y-%m-%d %H:%M:%S'`
# [函数]脚本运行日志
wLog(){
echo "${SYSTIME} $1" >> ${LOGPATH}/DownloadFile.log
}3、返回值
如果不是配置crontab定时任务执行脚本，而是通过其他方式调用脚本执行，那么可能还需要为脚本设置返回值。
#-----------------------------------------------------------
#--返回值RETURNCODE
# 0 -成功
# 1 -参数传递异常
# 2 -处理文件夹异常
# 3 -获取文件异常
#-----------------------------------------------------------
# [函数]脚本执行返回值
retrunCode()
{
if [ ${result} -eq "1" ]; then
RETURNCODE=$1
echo ${RETURNCODE}
fi
}然后在关键步骤位置调用返回值处理函数。
# 校验参数个数
if [[ $# != 5 ]]; then
exit
fi
result=$?
retrunCode "1"
# 处理文件夹
createForlder ${localPath}
result=$?
retrunCode "2"
# 循环获取文件
for station in ${STATION_ARR[@]}; do
remoteDir=${remotePath}${station}
sftp_download ${sftpUser} ${serverIP} ${sftpPass} ${remoteDir}
done
result=$?
retrunCode "3"