目录

一、主从复制原理

1.1.复制类型

1.2.mysql主从复制的工作原理

二、读写分离

2.1.原理

2.2.读写分离存在意义

2.3.常见的两种 MySQL 读写分离

基于程序代码内部实现

基于中间代理层实现

 Amoeba

三、MySQL主从复制的几个同步模式

3.1.半同步复制（Semisynchronous replication）

主服务器

从服务器设置

 主服务器查询半同步状态

四、MySQL主从复制实验

4.1.实验思路

4.2.实验环境

4.3.搭建 MySQL 主从复制 

主服务器设置（192.168.190.103）

从服务器设置 （192.168.190.104）（192.168.190.105）

五、MySQL 读写分离 

5.1. 安装 Java 环境

5.2.配置 Amoeba读写分离，两个 Slave 读负载均衡 

5.3. amoeba服务器配置amoeba服务 

 

六、总结

6.1.主从同步复制原理

6.2.读写分离方式

6.3.查看主从同步状态是否成功

6.4.I/O和SQL不是yes呢,你是如何排查的

6.5.show slave status能看到哪些信息(比较重要的)

6.6.主从复制慢(延迟)有哪些可能

---

一、主从复制原理

1.1.复制类型

• 基于SQL语句的复制(STATEMENT默认)
•  基于行的复制(ROW）
•  混合类型的复制(MIXED)

1.2.mysql主从复制的工作原理

主服务器 master 记录数据库通过 dump 线程将操作记录到 Binary log。

 从服务器开启 I/O 线程向主服务器发送同步日志请求。

 主服务器把二进制日志内容发送给从服务器。

 从服务器将二进制日志记录的操作同步到relay log (中继日志) (存在从服务器的缓存中)。

 从服务器中的sql线程将relay log日志记录的操作在从服务器执行后写入从服务器数据库。

过程：

1.首先client端（tomcat）将数据写入到master节点的数据库中，master节点会通知存储引擎提交事务，同时会将数据以（基于行、基于sql、基于混合）的方式保存在二进制日志中

2.SLAVE节点会开启I/O线程，用于监听master的二进制日志的更新，一旦发生更新内容，则向master的dump线程发出同步请求

3.master的dump线程在接收到SLAVE的I/O请求后，会读取二进制文件中更新的数据，并发送给SLAVE的I/O线程

4.SLAVE的I/O线程接收到数据后，会保存在SLAVE节点的中继日志中

5.同时，SLAVE节点中的SQL线程，会读取中继日志中的数据，更新在本地的mysql数据库中

6.最终，完成slave——>复制master数据，达到主从同步的效果

中继日志通常会位于 OS 缓存中，所以中继日志的开销很小。

复制过程有一个很重要的限制，即复制在 Slave上是串行化的，也就是说 Master上的并行更新操作不能在 Slave上并行操作。

二、读写分离

2.1.原理

读写分离基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

• 读写分离就是只在主服务器上写，只在从服务器上读。
• 基本的原理是让主数据库处理事务性查询，而从数据库处理 select 查询。
• 数据库复制被用来把主数据库上事务性查询导致的变更同步到集群中的从数据库。

数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询(select)多的情况下会考虑使用。利用数据库主从同步，再通过读写分离可以分担数据库压力，提高性能。

2.2.读写分离存在意义

• 因为数据库的“写”（写10000条数据可能要3分钟）操作是比较耗时的。
• 但是数据库的“读”（读10000条数据可能只要5秒钟）。
• 所以读写分离，解决的是，数据库的写入，影响了查询的效率

2.3.常见的两种 MySQL 读写分离

基于程序代码内部实现

在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。
优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支；缺点是需要开发人员来实现，运维人员无从下手。
但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。
 

基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。
（1）MySQL-Proxy。MySQL-Proxy 为 MySQL 开源项目，通过其自带的 lua 脚本进行SQL 判断。
（2）Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。支持事物以及存储过程。
（3）Amoeba。由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
 

 Amoeba

1.读取请求发送给从服务器是，采用轮询调度算法

2.amoeba使用的java语言编写，配置文件为xml

3.amoeba主要负责对外的一个代理IP

4.访问这个IP时，发送的请求为“写”请求，则会转给主服务器

5.当发送的请求为读时，会通过调度转发给从服务器，使用轮询算法，轮流分配给两台从服务器

6.amoeba可以视为调度器，如果主服务器挂掉（单点故障），则会有MHA解决这个问题

由于使用MySQL Proxy需要写大量的Lua脚本，这些Lua脚本不是现成的，而需要自己编写，这对于并不熟悉MySQL Proxy内置变量和MySQL Protocol的人来说是非常困难的。Amoeba是一个非常容易使用，可移植性非常强的软件，因此它在生产环境中被广泛用于数据库的代理层。

三、MySQL主从复制的几个同步模式

异步复制（Asynchronous replication）
MysQr默认的复制即是异步的，主库在执行完客户端提交的事务后会立即将结果返给客户端，并不关心从库是否已经接收并处理，这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完整。

全同步复制（Fully synchronous replication）
指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响。

半同步复制（Semisynchronous replication）
介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。所以，半同步复制最好在低延时的网络中使用。

3.1.半同步复制（Semisynchronous replication）

主服务器

主服务器 192.168.190.103
 
从服务器 192.168.190.104

vim /etc/my.cnf
plugin-load=rpl_semi_sync_master=semisync_master.so   #加载mysql半同步复制的插件
rpl_semi_sync_master_enabled=on                       #或者设置为“1”，即开启半同步复制功能
rpl-semi-sync-master-timeout=1000                     #超时时间为1000ms，即1s 
-------------------------------------------------------
#重启服务
systemctl restart mysqld.service

从服务器设置

vim /etc/my.cnf
----------------------------------
plugin-load=rpl_semi_sync_slave=semisync_slave.so #加载从服务器半同步复制的插件
rpl_semi_sync_slave_enabled=on    #开启半同步复制功能
--------------------------------------------------------
systemctl restart mysqld.service
#重启服务

查看半同步是否运行

主数据库 

show status like 'rpl_semi_sync_master_status';      #查看半同步复制是否开启
show variables like 'rpl_semi_sync_master_timeout';   #查看超时时间

从数据库执行

此时可能还是OFF状态，需要在下一步重启io线程后，从库半同步状态才会为on

show status like 'rpl_semi_sync_slave_status';

 主服务器查询半同步状态

show status like '%rpl_semi%';

 参数说明：
 Rpl_semi_sync_master_clients                    #半同步复制客户端的个数
 Rpl_semi_sync_master_net_avg_wait_time          #平均等待时间（默认毫秒）
 Rpl_semi_sync_master_net_wait_time              #总共等待时间
 Rpl_semi_sync_master_net_waits                  #等待次数
 Rpl_semi_sync_master_no_times                   #关闭半同步复制的次数
 Rpl_semi_sync_master_no_tx                      #表示没有成功接收slave提交的次数
 Rpl_semi_sync_master_status                     #表示当前是异步模式还是半同步模式，on为半同步
 Rpl_semi_sync_master_timefunc_failures          #调用时间函数失败的次数
 Rpl_semi_sync_master_tx_avg_wait_time           #事物的平均传输时间
 Rpl_semi_sync_master_tx_wait_time               #事物的总共传输时间
 Rpl_semi_sync_master_tx_waits                   #事物等待次数
 Rpl_semi_sync_master_wait_pos_backtraverse      #可以理解为"后来的先到了，而先来的还没有到的次数"
 Rpl_semi_sync_master_wait_sessions              #当前有多少个session因为slave的回复而造成等待
 Rpl_semi_sync_master_yes_tx                     #成功接受到slave事物回复的次数
 ​
 当半同步复制发生超时（由rpl_semi_sync_master_timeout参数控制，默认为10000ms，即10s），会暂时关闭半同步复制，转而使用异步复制，也就是会自动降为异步工作。
 当 master dump 线程发送完一个事务的所有事件之后，如果在 rpl_semi_sync_master_timeout 内，收到了从库的响应， 则主从又重新恢复为半同步复制。

 

 在一主多从的架构中，如果要开启半同步复制，并不要求所有的从都是半同步复制。

四、MySQL主从复制实验

4.1.实验思路

1. 客户端访问代理服务器
2. 代理服务器写入到主服务器
3. 主服务器将增删改写入自己二进制日志
4. 从服务器将主服务器的二进制日志同步至自己中继日志
5. 从服务器重放中继日志到数据库中
6. 客户端读，则代理服务器直接访问从服务器
7. 降低负载，起到负载均衡作用

4.2.实验环境

主机	操作系统	IP地址	所需工具/软件/安装包
Master	CentOS7	192.168.190.103	ntp 、 mysql-boost-5.7.20.tar.gz
Slave1	CentOS7	192.168.190.104	ntp 、ntpdate 、mysql-boost-5.7.20.tar.gz
Slave2	CentOS7	192.168.190.105	ntp 、ntpdate 、 mysql-boost-5.7.20.tar.gz
Amoeba	CentOS7	192.168.190.101	jdk-6u14-linux-x64.bin、amoeba-mysql-binary-2.2.0.tar.gz
客户端	CentOS7	192.168.190.102	————————

4.3.搭建 MySQL 主从复制 

主服务器设置（192.168.190.103）

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

关闭防火墙

yum -y install ntp
 
vim /etc/ntp.conf

server 127.127.223.0              #设置本地是时钟源，注意修改网段
fudge 127.127.223.0 stratum 8         #设置时间层级为8（限制在15内）
 
systemctl start ntpd

主服务器的mysql配置 

vim /etc/my.cnf
server-id = 1
log-bin=master-bin              #添加，主服务器开启二进制日志
log-slave-updates=true            #添加，允许从服务器更新二进制日志
binlog_format = MIXED
 
systemctl restart mysqld
 
mysql -u root -p密码
GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.190.%' IDENTIFIED BY '123';     
#给从服务器授权
FLUSH PRIVILEGES;
 
show master status;
 
#File 列显示日志名，Fosition 列显示偏移量

 

 

从服务器设置 （192.168.190.104）（192.168.190.105）

yum -y install ntp ntpdate
 
service ntpd start
/usr/sbin/ntpdate 192.168.190.103      #进行时间同步，指向Master服务器IP
 
crontab -e
*/30 * * * * /usr/sbin/ntpdate 192.168.190.103

 从服务器的mysql配置 

vim /etc/my.cnf
server-id = 2           #修改，注意id与Master的不同，两个Slave的id也要不同
relay-log=relay-log-bin           #添加，开启中继日志，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index   #添加，定义中继日志文件的位置和名称
relay_log_recovery = 1                       #选配项
#当 slave 从库宕机后，假如 relay-log 损坏了，导致一部分中继日志没有处理，则自动放弃所有未执行的 relay-log，并且重新从 master 上获取日志，这样就保证了relay-log 的完整性。默认情况下该功能是关闭的，将 relay_log_recovery 的值设置为 1 时， 可在 slave 从库上开启该功能，建议开启。
 
systemctl restart mysqld
 
mysql -u root -p
change master to master_host='192.168.223.10' , master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=604;
#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致，这里的是例子，每个人的都不一样
 
start slave;            #启动同步，如有报错执行 reset slave;
show slave status\G         #查看 Slave 状态
//确保 IO 和 SQL 线程都是 Yes，代表同步正常。
Slave_IO_Running: Yes       #负责与主机的io通信
Slave_SQL_Running: Yes        #负责自己的slave mysql进程

 /确保 IO 和 SQL 线程都是 Yes，代表同步正常。

Slave_IO_Running: Yes                #负责与主机的io通信
Slave_SQL_Running: Yes                #负责自己的slave mysql进程
 

一般 Slave_IO_Running: No 的可能性：
1、网络不通
2、my.cnf配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭

五、MySQL 读写分离 

5.1. 安装 Java 环境

因为 Amoeba 基于是 jdk1.5 开发的，所以官方推荐使用 jdk1.5 或 1.6 版本，高版本不建议使用。
将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。
 
cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/
 
cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin 
./jdk-6u14-linux-x64.bin
按空格到最后一行
按yes，按enter
 
mv jdk1.6.0_14/ /usr/local/jdk1.6
 
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin
 
source /etc/profile
java -version
 
##安装 Amoeba软件##
mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop 说明安装成功

          vim /etc/profile 

 

5.2.配置 Amoeba读写分离，两个 Slave 读负载均衡 

先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问 

 

5.3. amoeba服务器配置amoeba服务 

cd /usr/local/amoeba/conf/
 
cp amoeba.xml amoeba.xml.bak
vim amoeba.xml                  #修改amoeba配置文件
 
30修改
<property name="user">amoeba</property>
32修改
<property name="password">123456</property>
115修改
<property name="defaultPool">master</property>
117去掉注释–
<property name="writePool">master</property>
<property name="readPool">slaves</property>

1. vim amoeba.xml #修改amoeba配置文件

 

cp dbServers.xml dbServers.xml.bak
 
vim dbServers.xml               #修改数据库配置文件
 
23注释掉
作用：默认进入test库 以防mysql中没有test库时，会报错
<!-- mysql schema 
<property name="schema">test</property>
-->
26修改
<!-- mysql user -->
<property name="user">test</property>
28-30去掉注释
<property name="password">123456</property>
45修改，设置主服务器的名Master
<dbServer name="master"  parent="abstractServer">
48修改，设置主服务器的地址
<property name="ipAddress">192.168.223.10</property>
52修改，设置从服务器的名slave1
<dbServer name="slave1"  parent="abstractServer">
55修改，设置从服务器1的地址
<property name="ipAddress">192.168.223.9</property>
58复制上面6行粘贴，设置从服务器2的名slave2和地址
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.223.11</property>
65修改
<dbServer name="slaves" virtual="true">
71修改
<property name="poolNames">slave1,slave2</property>
 
/usr/local/amoeba/bin/amoeba start&         #启动Amoeba软件，按ctrl+c 返回
netstat -anpt | grep java             #查看8066端口是否开启，默认端口为TCP 8066

vim dbServers.xml #修改数据库配置文件 

 

六、总结

6.1.主从同步复制原理

1.首先client端（tomcat）将数据写入到master节点的数据库中，master节点会通知存储引擎提交事务，同时会将数据以（基于行、基于sql、基于混合）的方式保存在二进制日志中

2.SLAVE节点会开启I/O线程，用于监听master的二进制日志的更新，一旦发生更新内容，则向master的dump线程发出同步请求

3.master的dump线程在接收到SLAVE的I/O请求后，会读取二进制文件中更新的数据，并发送给SLAVE的I/O线程

4.SLAVE的I/O线程接收到数据后，会保存在SLAVE节点的中继日志中

5.同时，SLAVE节点中的SQL线程，会读取中继日志中的数据，更新在本地的mysql数据库中

6.最终，完成slave——>复制master数据，达到主从同步的效果

6.2.读写分离方式

基于程序代码内部实现

基于中间代理层实现

6.3.查看主从同步状态是否成功

在从服务器内输入命令 show slave status\G，查看主从信息进行查看，里面有IO线程的状态信息，还有master服务器的IP地址、端口、事务开始号，

当 slave_io_running 和 slave_sql_running 都显示为yes时，表示主从同步状态成功

注：mysql主从复制

若主从版本不一致，从的版本一定要高于主，保证可以向下兼容
因为若主的版本更新，低版本的从无法兼容的。
 

6.4.I/O和SQL不是yes呢,你是如何排查的

首先排除网络问题，使用ping命令查看从服务是否能与主服务器通信

再者查看防火墙和核心防护是否关闭

接着查看从服务器内的slave是否开启

两个从服务器的 server-id 是否相同导致只能连上一台

master_log_file 和 master_log_pos 的值要是否与Master查询的一致

6.5.show slave status能看到哪些信息(比较重要的)

IO线程的状态信息
master服务器的IP地址、端口、事务开始的位置
最近一次的错误信息和错误位置
最近一次的I/O报错信息和ID
最近一次的SQL报错信息和id

6.6.主从复制慢(延迟)有哪些可能

主服务器的负载过大，被多个睡眠或者僵尸线程占用，导致系统负载过大

从库硬件比主库差，导致复制延迟

主从复制单线程，如果主库写并发太大，来不及传送到从库，就会导致延迟。

慢SQL语句过多

网络延迟