mysql主从复制(读写分离)详解
1.什么是主从复制
MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式,这样从节点不用一直访问主服务器来更新自己的数据,数据的更新可以在远程连接上进行,从节点可以复制主数据库中的所有数据库或者特定的数据库,或者特定的表。
2.主从数据库的好处和缺点
优点
容灾:做数据的热备,作为后备数据库,主数据库服务器故障后,可切换到从数据库继续工作,避免数据丢失。
扩展:架构的扩展。业务量越来越大,I/O访问频率过高,单机无法满足,此时做多库的存储,降低磁盘I/O访问的频率,提高单个机器的I/O性能。
锁表:读写分离,使数据库能支撑更大的并发。当复杂sql锁表时,不会影响查询业务
缺点
成本:主从数据库的存储是冗余存储的,同一份数据多分存储是对服务器资源的消耗来满足业务需求
主从不一致:采用异步赋值模式,会出现更新的数据在从库读取有延时问题
3.主从复制的形式
一主一从和一主多从
最常见的主从复制形式
多主一从--5.7开始支持
数据汇总,可将多个主数据库同步汇总到一个从数据库中,方便数据统计分析。
读写分离,从库只用于查询,提高数据库整体性能。
双主复制
也就是互做主从复制,每个master既是master,又是另外一台服务器的slave。这样任何一方所做的变更,都会通过复制应用到另外一方的数据库中。
级联复制
如果主节点有太多的从节点,就会损耗一部分性能用于replication(主从复制),通过级联复制缓解主节点压力
4.主从复制的原理
MySQL主从复制涉及到三个线程
主节点 binary log dump 线程(binlog转储线程)
主服务器创建一个线程,在从服务器连接时将二进制日志内容发送到从服务器(可以通过show processlist 命令查看) 此线程会对主节点上的bin-log加锁,当读取完成(发送从节点前)释放(为每个从机创建一个线程)
从节点I/O线程
当在从服务器上发出start slave语句时,从服务器创建一个I/O线程,该线程连接到主服务器并要求主服务器发送记录在其二进制日志中的更新。 从I/O线程读取主BINLog转储线程发送的更新(见上一项),并将它们复制到构成从服务器中继日志的本地文件,readLog。
从节点SQL线程
从服务器上面同时开启一个 SQL thread 定时检查 Realy log(这个文件也是二进制的),如果发现有更新立即把更新的内容在本机的数据库上面执行一遍。
5.主从复制的模式
MySQL主从复制有异步模式、半同步模式、全同步模式,MySQL默认模式是异步模式。
异步模式
只MySQL 主服务器上I/O thread 线程将二进制日志写入binlog文件之后就返回客户端结果,不会考虑二进制日志是否完整传输到从服务器以及是否完整存放到从服务器上的relay日志中。
优点:主库写性能高
缺点:数据不一致问题(数据存在延时),数据丢失问题(一旦主服务(器)宕机,数据就会发生丢失)
半同步模式 --5.5开始支持
需要安装单独插件实现
这种模式下主节点只需要接收到其中一台从节点的返回信息,就会commit;否则需要等待直到超时时间然后切换成异步模式再提交。
优点:可以使主从数据库的数据延迟缩小,可以提高数据安全性,确保了事务提交后,binlog至少传输到了一个从节点上(不保证从节点更新到db)
缺点:主库写性能上会有一定的降低,响应时间会变长
全同步模式
主节点提交一个事务,所有从节点都将该事务执行完成后才返回
优点:数据安全
缺点:性能随着从节点数量增加越来越差
6.数据不一致问题
原因
一般的主从复制的3个线程都是单线程的 Binlog Dump(主) ‐‐> IO Thread(从) ‐‐> SQL Thread(从) 而master是并发线程提交的,在业务量巨大的情况下很容易出现主从延时
多线程复制--5.6开始支持
5.6支持每个库一个线程
5.7支持每个库多个线程
问题
多线程模式只是降低延迟,但是仍然存在。我们在程序设计中需要考虑延迟问题
7.使用场景
访问量较大,吞吐量需求较高的情况。
主要针对接口模块,后台模块中的访问量较小,建议读写都使用主库完成
数据量较大,变更频繁
变更不频繁,数据量较低的热数据建议使用缓存处理,变更频繁,且数据量较大可以考虑使用读写分离,如用户系统中的用户信息
无法通过简单方式优化处理的
当数据的查询性能出现瓶颈时,首先考虑是否可以通过索引和sql语句进行优化
是否是初始设计时的表结构不合理,是否可以通过中间表解决
使用主从分离是对服务器资源的消耗,也是成本的增加,我们尽量采用在低成本情况下解决问题
可以接受短时间内的数据不一致
如支付宝中的订单信息,淘宝中的购买记录。是可以接受的
如支付宝中扣款时用户的余额,确认购买商品时候的数量。是不可以接受的。这种情况还需要考虑幂等性问题
8.java中的应用(代码看另一篇)