OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第I部分
概述
GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。
GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制等等。
下面介绍下怎么通过ogg来实现虚拟机的数据库到阿里云数据库单向全库同步。(分几部分做介绍)
GoldenGate基本架构
Oracle GoldenGate主要由如下组件组成
● Extract
● Data pump
● Trails
● Collector
● Replicat
● Manager
Oracle GoldenGate 数据复制过程如下:
利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log,然后进行解析,只提取其中数据的变化信息,比如DML操作——增、删、改操作,将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。
目标端有一个进程叫Server Collector,这个进程接受了从源端传输过来的数据变化信息,把信息缓存到GoldenGate 队列文件(trail file)当中,等待目标端的复制进程读取数据。
GoldenGate 复制进程(replicat process)从队列文件(trail file)中读取数据变化信息,并创建对应的SQL语句,通过数据库的本地接口执行,提交到目标端数据库,提交成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程最终完成。
安装前准备
1、环境配置
2、进程配置:
3、创建源端和目标端的测试用户
3.1、源端
create user sender identified by oracle default tablespace users temporary tablespace temp;
grant connect,resource,unlimited tablespace to sender;
grant dba to sender;
grant imp_full_database to sender;
3.2、目的端
create user receiver identified by oracle default tablespace users temporary tablespace temp;
grant connect,resource,unlimited tablespace to receiver;
grant dba to receiver;
grant imp_full_database to receiver;
一、源端安装GoldenGate
1、解压软件
安装包为文件ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar
上传之后,然后再解压:
# tar -xvf ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar -C /opt/software/ogg/
2、创建用户
2.1创建目录
#mkdir -p /opt/software/ogg
#chmod -R 777 /opt/software/ogg
#chown -R oracle:oinstall /opt/software/ogg
2.2 创建ogg用户
#useradd -g oinstall -G dba ggate -d /home/ggate -m
3、设置环境变量
配置goldengate用户变量
#su - ggate
#vi ~/.bashrc
------------------------------------------------------------------------------------------ export ORACLE_BASE=/u01/app/oracle export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1 export ORACLE_SID=orcl export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/u01/app/oracle/ggate export GGATE=/opt/software/ogg export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib export PATH=$PATH:$ORACLE_HOME/bin:$GGATE -------------------------------------------------------------------------------------------
#source ~/.bashrc
4、安装GoldenGate
(1) 切换用户
#su - ggate $cd /opt/software/ogg
(2) 运行./ggsci
[ggate@Oracle11g ogg]$ ./ggsci
(3) 新建子目录:
GGSCI (Oracle11g.ocp.hwb) 1> create subdirs
(4) 配置 GoldenGate 主进程参数
GGSCI (host2) 6> edit params mgr
输入:
PORT 7809
DYNAMICPORTLIST 7820-7830
然后保存
检查输入情况:
GGSCI (host2) 7> view params mgr
PORT 7809
(5)启动 GoldenGate 主控制进程:
GGSCI (Oracle11g.ocp.hwb) 4> start mgr
Manager started.
GGSCI (Oracle11g.ocp.hwb) 5> info mgr
Manager is running (IP port Oracle11g.ocp.hwb.7809).
二、目标端安装GoldenGate
1、解压软件
安装包为文件ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar
解压之后,然后再解压]
# tar -xvf ggs_Linux_x64_ora11g_64bit_v11_1_1_0_0_078.tar -C /opt/software/ogg/
2、创建用户
2.1创建目录
#mkdir -p /opt/software/ogg #chmod -R 777 /opt/software/ogg #chown -R oracle:oinstall /opt/software/ogg
2.2 创建ogg用户
#useradd -g oinstall -G dba ggate -d /home/ggate -m
3、设置环境变量
配置goldengate用户变量
#su - ggate #vi ~/.bashrc export ORACLE_BASE=/home/oracle/app/oracle export ORACLE_HOME=/home/oracle/app/oracle/product/11.2.0/dbhome_1 export ORACLE_SID=nwppdb export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/home/oracle/app/oracle/ggate export GGATE=/opt/software/ogg export=$ORACLE_HOME/lib:/lib:/usr/lib export PATH=$PATH:$ORACLE_HOME/bin:$GGATE #source ~/.bashrc
4、安装GoldenGate
(1) 切换用户
#su - ggate
$cd /opt/software/ogg
(2) 运行./ggsci
ggate@iZmfgnjkehk13uZ:/opt/software/ogg$ ./ggsci
(3) 新建子目录:
GGSCI (Oracle11g.ocp.hwb) 1> create subdirs
(4) 配置 GoldenGate 主进程参数
GGSCI (host2) 6> edit params mgr
输入: PORT 7809
DYNAMICPORTLIST 7820-7830
然后保存
检查输入情况:
GGSCI (host2) 7> view params mgr
PORT 7809
(5)启动 GoldenGate 主控制进程:
GGSCI (Oracle11g.ocp.hwb) 4> start mgr
Manager started.
GGSCI (Oracle11g.ocp.hwb) 5> info mgr
Manager is running (IP port Oracle11g.ocp.hwb.7809).
篇幅有限,只能分几部分做介绍了,后面会介绍下源端数据库的配置和进程组的配置,大家有兴趣可以跟着做下实验,这个是之前测试通过的,理论上行得通。
后面会分享更多关于DBA和devops方面的内容,感兴趣的朋友可以关注下!!