本文来自微信公众号：低并发编程 （ID：dibingfa），作者：闪客
我是一个苦逼的运维，有一次老板过来找我。
老板：现在有四个 redis 节点摆在你面前，一主三从，你负责盯着点，主节点挂了你赶紧想办法拿从节点顶上来，交给你了！
哨兵一开始就连接这 4 个 redis 节点，并持续我刚刚的操作过程。
优化
我还发现了一个小的优化点，我无需知道这 4 个节点的全部信息，只需要知道主节点即可。
从节点的信息，我通过向主节点发送 info 命令即可获取，而且可以不断获取来更新。
10.232.0.0:6379> info ... role:master ... slave0:ip=10.232.0.1,port=6379,state=online ... slave0:ip=10.232.0.2,port=6379,state=online ... slave0:ip=10.232.0.3,port=6379,state=online ... ...
这样，我在启动哨兵时，只要知道主节点即可，而且这样获取的从节点信息更准确，也更实时，就不用一直问老板啦。
虽然已经可以解放双手，但兴致来了的我仍然没有收手。
刚刚主节点挂了之后，我随机从三个从节点中选择了一个作为主节点，不妨让这个随机也智能一些吧，不然总觉得太 low。
首先，我把所有的从节点的主要信息列出来（这里假设多一些节点方便分析）
|
节点 |
状态 |
距离上次回复的时间 |
复制偏移量 |
uid |
|
1 |
DISCONNECTED |
8 |
50 |
12345 |
|
2 |
DOWN |
8 |
50 |
12346 |
|
3 |
√ |
7 |
50 |
12347 |
|
4 |
√ |
1 |
50 |
12348 |
|
5 |
DOWN |
8 |
50 |
12349 |
|
6 |
√ |
1 |
50 |
12350 |
先去掉所有断线或下线的节点。
|
节点 |
状态 |
距离上次 回复的时间 |
复制偏移量 |
uid |
|
1 |
DISCONNECTED |
8 |
50 |
12345 |
|
2 |
DOWN |
8 |
50 |
12346 |
|
3 |
√ |
7 |
50 |
12347 |
|
4 |
√ |
1 |
50 |
12348 |
|
5 |
DOWN |
8 |
50 |
12349 |
|
6 |
√ |
1 |
50 |
12350 |
再去掉最后一个 ping 请求过去后，未回应的时间大于 5s 的。
|
节点 |
状态 |
距离上次 回复的时间 |
复制偏移量 |
uid |
|
1 |
DISCONNECTED |
8 |
50 |
12345 |
|
2 |
DOWN |
8 |
50 |
12346 |
|
3 |
√ |
7 |
50 |
12347 |
|
4 |
√ |
1 |
50 |
12348 |
|
5 |
DOWN |
8 |
50 |
12349 |
|
6 |
√ |
1 |
50 |
12350 |
剩下两个，是至少状态健康的节点，继续择优录取。
我们比较其复制偏移量的值，这个代表其从主节点成功复制了多少数据，选择一个复制偏移量最多的，也就是与主节点最接近同步的。
|
节点 |
状态 |
距离上次 回复的时间 |
复制偏移量 |
uid |
|
4 |
√ |
1 |
50 |
12348 |
|
6 |
√ |
1 |
50 |
12350 |
不过我们发现其偏移量一样。
到现在，这两个节点无论从健康状态，还是同步状态，都是完全一样的，没办法分出谁好谁坏了，那怎么办呢？
没关系，还有一个终极武器，就是唯一标识 uid，这两个 uid 在启动节点时就保证了必然不相同，我们选择一个相对较小的。
|
节点 |
状态 |
距离上次 回复的时间 |
复制偏移量 |
uid |
|
4 |
√ |
1 |
50 |
12348 |
OK，最终可以唯一确定一个从节点，就把它变为主节点了！
我把这个复杂的过程，写成了一个方法，sentinelSelectSlave()，放在了哨兵程序中，用来选择一个从节点。
嗯，现在这个程序看起来，已经很完善了！
我放心地把这个哨兵程序启动起来，之后的很长一段时间，我就靠着我的哨兵程序，成功自动应对了很多次突发情况，有一次甚至在半夜两点多迅速将问题发现并解决。
老板一直夸我坚守岗位，半夜了还这么负责，我很快得到了晋升。
直到有一次，我正在开开心心摸鱼，老板气哄哄地走来。
当然，有三个哨兵时，每个哨兵就不能太自我了，得听从组织统一安排。
主客观问题
比如说，当哨兵 1 认为主节点已经挂掉时，不能认为主节点就真的挂掉了，这种判断叫做主观下线。
哨兵 1 主观认为主节点下线时，需要询问其他节点，主节点是否已经下线。
如果其中哨兵 2 回复，主节点下线了，哨兵 3 回复，主节点没下线。
那么这个时候，哨兵集群中，一共有 2 个哨兵都主观认为主节点下线。
当主观下线的数量达到一定值时，比如说 >=2 时，我们就可以认为，主节点客观下线。
一旦主节点客观下线了，那就又可以走之前的故障处理流程，即选择一个从节点变成主节点。
领头问题
接下来，将从节点变成主节点，也就是后续的这个故障处理流程，由哪个哨兵来完成呢？
总不能同时来操作吧。
那就必然需要选举出一个领头来完成这个事。
怎么选举出一个领头呢？我总不能再用一个哨兵去做吧，那样就无限套娃了，最好的方式就是让他们仨自发地决定。
这部分有点复杂，在这里展开不太合适，可以单独水一篇文章来讲解，感兴趣的同学可以看一下 Raft 算法，哨兵集群正是通过这个算法来选举领头的。
OK，我终于再次解放了我的双手！
我把这个破玩意，称为哨兵系统，或者哨兵集群！
我再给哨兵起个英文名字，叫 Sentinel 吧！
后记
本次选取的 redis 代码为 redis-3.0.0。
之所以能够通过 “我” 这个视角来写哨兵，正是因为哨兵这个程序，完全可以由人不断输入 redis 命令来轻松完成，并不需要什么其他协议的支持。
比如判断节点健康状态的 ping，拿到节点信息的 info，设置主从节点的 slaveof，甚至询问其他哨兵节点是否在线的命令 sentinel is-master-down-by addr 等等，都是 redis 支持的客户端命令，对用户端非常友好。
redis 的源代码也是非常干净，而且设计得很精妙，建议有兴趣的读者可以深入源码进行阅读，不算难。
比如上面讲的，如何从一堆从节点中，选取一个作为主节点。
这个知识点网上搜，你会搜到很多云里雾里的解释，而如果你看源码，你会发现这个过程非常清晰。
sentinelRedisInstance *sentinelSelectSlave() {
...
// 去掉一些节点
while((de = dictNext(di)) != NULL) {
...
if (slave->flags & (DOWN||DISCONNECTED)) continue;
if (mstime() - slave->last_avail_time > 5000) continue;
if (slave->slave_priority == 0) continue;
if (...) continue;
...
}
// 剩下的节点排个序
qsort(..., compareSlavesForPromotion);
// 取第一个
return instance[0];
}
// 怎么排序呢？就这么排
int compareSlavesForPromotion(const void *a, const void *b) {
// 先按优先级排
if ((*sa)->slave_priority != (*sb)->slave_priority)
return (*sa)->slave_priority - (*sb)->slave_priority;
// 优先级一样按偏移量排
if ((*sa)->slave_repl_offset > (*sb)->slave_repl_offset) {
return -1;
} else if ((*sa)->slave_repl_offset < (*sb)->slave_repl_offset) {
return 1;
}
...
// 偏移量一样按唯一标识排
return strcasecmp(sa_runid, sb_runid);
}
我想相信如果你停下来仔细看几秒，哪怕你对 c 语言并不熟悉，也能看懂个大概了，再结合网上或者书上关于这块的描述，你就有了很直观的印象。
关于 redis 源码的深入学习，我建议先阅读黄健宏的《Redis 设计与实现》，这本书代码量很少，但逻辑描述完全按照写代码的思维来讲，你读一下就知道了。
读完这本书，直接上手 redis 源码的阅读，你可以选择 redis-1.0.0 代码，非常少，主要阅读其整个网络 IO 以及命令处理的流程。
接着，从 redis-3.0.0 开始，有针对性研究其主从、集群、哨兵等特性。
这样，redis 在你这，就不再是模模糊糊了。