学习分享｜Etcd/Raft 原理篇

• 日志存储结构

           
           
           

            type raftLog struct {
  // storage存储了从最后一次snapshot到现在的所有可靠的（stable）日志（Entry),即保存到snapshot之后提交的数据，
    // 同时Storage定义为接口，由上层使用者实现和维护的，raft需要访问的时候直接读取无需访问上层持久化的存储。
  storage Storage
  // 用于保存还没有持久化的数据和快照，与storage形成了鲜明的对比，使用者没有通知raft日志持久化完毕前，这些日志都还不可靠
    // 当使用者持久化完毕后，这些日志就会从unstable删除，最终都会保存到storage中
  unstable unstable
  // committed保存是写入持久化存储storage中的最高index，
    // 这里提交索引是集群的一个状态，而不是某一节点的状态，它是由leader统计出来的，并广播给所有的节点。
  committed uint64
  // 已经提交的日志要被使用者应用，applied就是该节点已经被应用的最大索引
  // 一条日志首先要提交成功（即committed），才能被applied到状态机中因此以下不等式一直成立：applied <= committed
  applied uint64
  logger Logger
}
type unstable struct {
  snapshot *pb.Snapshot // 保存还没有持久化的快照数据
  entries []pb.Entry    // 还未持久化的日志提交粒度的数据
  offset  uint64        // offset保存的为entries数组中的数据的起始index
  logger Logger
}

           
           
           

           
           
           

            func (u *unstable) truncateAndAppend(ents []pb.Entry) {
  // 先拿到这些数据的第一个索引
  after := ents[0].Index
  switch {
  case after == u.offset+uint64(len(u.entries)):
    // 如果正好是紧接着当前数据的，就直接append
    u.entries = append(u.entries, ents...)
  case after <= u.offset:
    // 如果比当前偏移量小，那用新的数据替换当前数据，需要同时更改offset和entries
    u.offset = after
    u.entries = ents
  default:
    // 到了这里，说明 u.offset < after < u.offset+uint64(len(u.entries))
    // 那么新的entries需要拼接而成
    u.entries = append([]pb.Entry{}, u.slice(u.offset, after)...)
    u.entries = append(u.entries, ents...)
  }
}