跳到主要内容

全同步

背景​

1.Pika Replicate​

  • pika支持master/slave的复制方式，通过slave端的slaveof命令激发
  • salve端处理slaveof命令，将当前状态变为slave，改变连接状态
  • slave的向master发送MetaSync请求，在同步之前确保自身db的拓扑结构和master一致
  • slave下的每个partition单独的向master端对应的partition发起trysync请求，建立同步关系

2.Binlog​

  • pika同步依赖binlog
  • binlog文件会自动或手动删除
  • 当同步点对应的binlog文件不存在时，需要通过全同步进行数据同步

全同步​

1. 简介​

  • 需要进行全同步时，master会将db文件dump后发送给slave
  • 通过rsync的deamon模式实现db文件的传输
  • 默认使用pika port+1000作为rysnc传输端口

2. 实现逻辑​

  1. 在pika实例启动的同时会启动Rsync服务
  2. master发现某一个partition需要全同步时，判断是否有备份文件可用，如果没有先dump一份
  3. master通过rsync向slave发送对应partition的dump的文件
  4. slave的对应partition用收到的文件替换自己的db
  5. slave的对应partition用最新的偏移量再次发起trysnc
  6. 完成同步

Slave中某一个Partition建立同步: slave的partition

Master处理同步请求： master执行过程

3. Slave连接状态​

  • No Connect：不尝试成为任何其他节点的slave
  • ShouldMetaSync：向master请求db的拓扑信息，确保与自身一致
  • TryConnect：为每个partition重置状态机，让其处于准备同步的状态
  • Connecting：在所有partition没有建立同步关系之前一直是处于connecting的状态
  • EstablishSucces: 所有partition建立同步关系成功
  • Error：出现了异常