设计数据库集群读写分离并非易事

作者:菜菜
出处:
灵魂拷问:

  • 解决数据库读写瓶颈有哪些解决方案呢?
  • 这些方案解决了什么问题呢?
  • 这些方案有那些优势和劣势呢?
分库分表作为一种普遍的解决方案 , 几乎已经成为面试者吹水的利剑 , 却很少有人在意它所带来的副作用 。 其实分库分表是利用了分治的思路来解决数据库的瓶颈问题 , 这种方案同时解决了并发读和并发写的瓶颈 , 利用数据分片的方式 , 以堆积硬件的方式来抵抗了高流量的冲击 , 当然带来了某些业务需要跨库查询 , 跨表join等问题 , 不过这些问题总能以别的解决方案来应对 。
数据库读写分离是解决数据库性能瓶颈的另外一个方案 , 和分库分表方案相比较 , 他们有着本质的区别 。 分库分表会把数据分散在多个库表中 , 然后利用数据分片的规则来读取和写入数据 , 而读写分离是利用“冗余”的方式来应对大流量的冲击 。
读写分离原理读写分离的基本原理是将数据读写分散到不同的数据库节点上 , 写操作一般只发生在主节点 , 可以接受少量延迟的读操作发生在从节点上
设计数据库集群读写分离并非易事文章插图
至于读写分离的实现方式:
  • 多台数据库服务器组件成集群 , 并配置主从关系
  • 主节点负责读写操作 , 从节点只负责读操作
  • 主节点通过数据复制机制 , 把数据从主节点同步到所有的从节点
  • 业务方利用程序或者中间件把写操作发送给主节点 , 将读操作发送给从节点
读写分离优势一般的系统都会满足28原则 , 既:80%的操作是读操作 , 20%的操作是写操作 。 系统的读操作占比越大 , 读写分离的优势就越发明显 , 因为读操作可以通过简单的增加数据库从节点来解决 , 当然从节点的增加并不是毫无限制 , 当从节点到达一定数量的时候 , 必然会影响主从同步的效率 , 会降低主节点的性能 , 这个时候需要考虑一致性和可用性的平衡问题了 。
另外一点 , 在很多业务中都会有一定的数据统计需求 , 单机数据库的时候 , 这些统计需求执行的sql和业务sql混合在一起 , 在一定程度上会影响正常业务的运行 , 尤其是那些数据量比较大的业务场景 。 在做了读写分离的策略之后 , 统计业务完全可以独占一个从库来进行统计 , 就算是比较耗时的操作 , 也不会影响正常的业务运行 。
数据库的读写分离方案在所有读操作场景中 , 发挥了最大优势
读写分离劣势数据库读写分离有一个很多系统都会遇到的问题 , 那就是有些业务在写操作成功之后需要实时的读取到数据 , 可是数据从主节点同步到从节点是有一定时间延迟的 , 所以很多情况下业务方在从节点并不能实时的读取到正确的数据 , 这种业务场景其实就是主节点也需要提供读操作的典型场景 , 当然如果系统架设的有缓存模块 , 在主节点写操作成功之后可以同步更新缓存 , 以达到业务需要实时数据的要求 。
路由机制读写分离在写操作上有着严格的要求 , 写操作必须发生在主节点上 , 因为读写分离是基于中心化的思想来建立的集群 , 中心化的思想要求主节点上的数据必须是最新且最全的 。 这就要求调用方必须要区分出主节点才可以 。
  • 代码封装
用程序代码封装读写分离逻辑需要在代码中抽象出一个数据访问层 , 在这一层中实现操作分离以及数据库的连接管理等 。
设计数据库集群读写分离并非易事文章插图
用代码封装读写分离逻辑在落地上并非易事 , 需要经过很长时间的测试才可以上生产环境 。 如果公司内部存在多个语言的开发团队 , 每个语言可能都需要实现一次 , 开发量还是比较大的 。 但是在针对不同的业务中 , 可以做到定制化的需求 , 在落地过程中还需要考虑如果主从发生切换 , 代码中必须要有类似选举的过程 。
  • 数据库中间件
数据库中间件是指基于数据库提供的SQL协议来开发的一套和具体业务无关的系统 , 它的作用也是实现操作分离和数据库的连接管理等 , 它同样也是对读写分离的一个抽象层 , 但是这个抽象层是基于数据库协议的 , 对于业务的使用方来说 , 就像访问单个数据库一样方便 。
设计数据库集群读写分离并非易事文章插图
同步延迟任何分布式的系统都逃不过一致性的问题 。 数据库的主从架构也是一样 , 发生在主节点的操作需要同步给每个从库 。 像MySQL的主从复制是依赖于binlog的 , 主从复制就是将binlog中的数据从主库复制到从库上 , 一般这个过程都会采用异步的方式 , 因为在网络延迟的情况下 , 如果采用同步方式会大大降低主库的可用性 。