shell脚本将Oracle服务器中数据定时增量刷新到ftp服务器中

下面是“shell脚本将Oracle服务器中数据定时增量刷新到ftp服务器中”的完整攻略。

前置条件

• 已安装Oracle数据库，并导入需要刷新的数据。
• ftp服务器账户、密码和文件传输路径已确定。

实现步骤

1. 创建 shell 脚本

首先，需要创建一个shell脚本，来实现将Oracle服务器中数据增量刷新到ftp服务器中的功能。

#!/bin/bash

#oracle connect info
ORACLE_USER="username"
ORACLE_PASS="password"
ORACLE_SID="oracle_sid"

# ftp connect info
FTP_HOST="ftp.example.com"
FTP_USER="ftp_username"
FTP_PASS="ftp_password"
FTP_PATH="/data/"

# sql
sql="SELECT * FROM table_name WHERE update_time >= trunc(sysdate) - 1 AND update_time < trunc(sysdate)"

echo "======== `date +%F-%H:%M:%S` Starting to retrieve data from Oracle ========"
echo $sql

sqlplus -s ${ORACLE_USER}/${ORACLE_PASS}@${ORACLE_SID} <<EOF
set linesize 1024
set feedback off
set trimout on
set heading off
set underline off
set trimspool on
set pagesize 0
set termout off
set colsep ","
SET SERVEROUTPUT ON SIZE 100000
spool data.csv
$sql;
spool off
exit;
EOF

echo "======== `date +%F-%H:%M:%S` Retrieving data from Oracle completed ========"
echo "======== `date +%F-%H:%M:%S` Starting to upload data to ftp server ========"
ftp -n <<EOF
open $FTP_HOST
user $FTP_USER $FTP_PASS
cd $FTP_PATH
mput data.csv
close
bye
EOF

echo "======== `date +%F-%H:%M:%S` Upload data to ftp server completed ========"

这个脚本的作用是连接到Oracle数据库服务器中，并查询指定时间范围内的数据，然后将数据导出到一个名为“data.csv”的文件中。接着，使用ftp客户端连接到指定的ftp服务器，并将导出的数据上传到指定路径中。

2. 设置定时任务

接下来，需要使用crontab来定时运行这个脚本。

crontab -e

在打开的配置文件中添加如下一行代码，表示每天凌晨12:00分运行此脚本：

0 0 * * * /bin/bash /path/to/refresh.sh

3. 测试运行

为了验证脚本是否正常工作，可以手动运行脚本，并检查数据是否被成功上传到ftp服务器中。

/bin/bash /path/to/refresh.sh

示例说明

示例一

例如，我们需要将“customer”表中最新一天的客户信息定时上传到ftp服务器中的“/data/customer/”路径下。

SELECT * FROM customer WHERE update_time >= trunc(sysdate) - 1 AND update_time < trunc(sysdate)

这条sql命令表示从“customer”表中查询更新时间在昨天的数据，并导出至“data.csv”文件中。

示例二

如果数据文件太大，不能直接上传，可以先压缩后再上传，例如将“data.csv”文件压缩成“data.tar.gz”文件。

tar cvzf data.tar.gz data.csv

然后修改脚本中的ftp命令为：

ftp -n <<EOF
open $FTP_HOST
user $FTP_USER $FTP_PASS
cd $FTP_PATH
put data.tar.gz
close
bye
EOF

这样就能在ftp服务器上找到经过压缩的数据备份文件。