27.4 一致性哈希算法的golang实现和迁移率测试

本节重点介绍 :

• 一致性哈希算法的golang实现
  • 使用uint32封装索引排序的结构
  • 定义一致性哈希环数据结构
  • 选择哈希函数
  • 完成Add、Remove、Get方法

一致性哈希算法的golang实现

使用uint32封装索引排序的结构

• 使用uint32封装
• 实现Len Less Swap方法就可以使用sort.Sort排序

type uints []uint32

// Len returns the length of the uints array.
func (x uints) Len() int {
   
    return len(x) }

// Less returns true if element i is less than element j.
func (x uints) Less(i, j int) bool {
   
    return x[i] < x[j] }

// Swap exchanges elements i and j.
func (x uints) Swap(i, j int) {
   
    x[i], x[j] = x[j], x[i] }

定义一致性哈希环数据结构

type Consistent struct {
   
   
	circle       map[uint32]string // 索引和key的map
	members      map[string]bool   // 快速查找key的set
	sortedHashes uints             // 索引的有序数组
	replicas     int               // 虚拟节点数
	count        int64             // 节点总数
	sync.RWMutex                   //  读写锁
}

编写 初始化函数

• 根据传入的虚拟节点数初始化

// 编写 初始化函数
func NewConsistent(replicas int) *Consistent {
   
   
	c := new(Consistent)
	c.replicas = replicas
	c.circle = make(map[uint32]string)
	c.members = make(map[string]bool)
	return c
}

Add方法添加元素

// Add方法添加元素
func (c *Consistent) Add(elt string) {
   
   
	c.Lock()
	defer c.Unlock()
	c.add(elt)
}

内部的add方法，遍历虚拟节点数添加key

• 首先遍历虚拟节点数
• 在key的前添加i
• hashkey 用哈希算法生成一个 uint32
• 然后将key更新的到member
• 将uint32索引切片排序

// 内部的add方法，遍历虚拟节点数添加key
func (c *Consistent) add(key string) {
   
   
	for i := 0; i < c.replicas; i++ {
   
   
		c.circle[c.hashKey(c.genKey(key, i))] = key
	}
	c.members[key] = true
	c.updateSortedHashes()
	c.count++
}

将key加上虚拟节点的索引

// 将key加上虚拟节点的索引
func (c *Consistent) genKey(key string, idx int) string {
   
   
	return strconv.Itoa(idx) + key
}

核心方法 hashKey

• 根据key生成hash值，底层使用murmur3算法
• 这个算法比crc32均匀性要好

// 根据key生成hash值，底层使用murmur3算法，这个算法比crc32均匀性要好
func (c *Consistent) hashKey(key string) uint32 {
   
   
	return murmur3.Sum32(str2bytes(key))
}

同时需要频繁的string 转换为 []byte

• 可以通过unsafe 强制转换绕过复制提高性能

// 可以通过unsafe 强制转换绕过复制提高性能
func str2bytes(s string) (b []byte) {
   
   
	sh := *(*reflect.StringHeader)(unsafe.Pointer(