lab2-one(%v) failed to reach agreement

[springfieldking]

测试用例对leader调用Start接口，输入一个cmd，然后过10s之后，测试用例会检查所有节点的数据，如果这个cmd没有出现在多数节点上就会出现这个错误。

[springfieldking]

出现这个错误的问题有很多，大多数问题出现在AppendEntries上，没有正确的插入log导致。

[springfieldking]

还有些比较复杂的错误，是因为整个系统出现了活锁的问题。这个问题在https://thesquareplanet.com/blog/students-guide-to-raft/ 中有比较详细的描述。我自己问题就出现没有正确reset timer， 导致在不可靠的网络中，leader被隔离，跟随者陆续超时变成候选人，其他跟随者没有正确的reset tiemer也变成了候选人，然后大家不断的更换后续人，term不断递增， 很久(1～3秒)都没有选出leader， 整个系统已经不能正常工作了。

[springfieldking]

还有一种情况是死锁，也会导致日志未达成一致。这个问题请看 issue#3

[SaulLawliet]

补充一个情况, 测试用例: TestFigure8Unreliable2C
我的选举超时时间是 150ms-300ms, 领导者的心跳是 100ms, 有一定概率出现这个错误
看了好久日志, 我怀疑到是参数的问题...
最后, 这俩参数, 分别跑了几十次, 均未出现错误
a. 选举超时: 150ms-300ms, 领导者心跳:50ms
b. 选举超时: 200ms-400ms, 领导者心跳: 100ms

[springfieldking]

嗯，楼上这个问题大概率是心跳导致的。TestFigure8Unreliable2C 这测试用例一共运行不超过40s。前10秒在可靠网络各种插入数据。中间20秒，在不可靠网络中各种插入数据。最后10s，开始的时候，恢复网络，插入一个数据，等待这个数据被提交，如果超过这10s就报错。
我的实验参数:心跳50， 选举150-300，这个实验通常在34-38秒之间完成。
假设：
1心跳变慢：日志复制的速度变慢，我认为是有可能导致最后10s内无法复制完成，当然这个和日志复制的机制有关系。
2.选举变慢：我认为选举时间不会产生这类错误，因为最后10s网络是可靠的，基本上一两次选举就可以选出leader。当然这个和选举的实现的机制有关系。

[songpengwei]

嗯，楼上这个问题大概率是心跳导致的。TestFigure8Unreliable2C 这测试用例一共运行不超过40s。前10秒在可靠网络各种插入数据。中间20秒，在不可靠网络中各种插入数据。最后10s，开始的时候，恢复网络，插入一个数据，等待这个数据被提交，如果超过这10s就报错。
我的实验参数:心跳50， 选举150-300，这个实验通常在34-38秒之间完成。
假设：
1心跳变慢：日志复制的速度变慢，我认为是有可能导致最后10s内无法复制完成，当然这个和日志复制的机制有关系。
2.选举变慢：我认为选举时间不会产生这类错误，因为最后10s网络是可靠的，基本上一两次选举就可以选出leader。当然这个和选举的实现的机制有关系。

为什么实验材料上说：

The paper's Section 5.2 mentions election timeouts in the range of 150 to 300 milliseconds. Such >a range only makes sense if the leader sends heartbeats considerably more often than once per >150 milliseconds. Because the tester limits you to 10 heartbeats per second, you will have to use >an election timeout larger than the paper's 150 to 300 milliseconds, but not too large, because >then you may fail to elect a leader within five seconds.

心跳不能超过 1s 10个？

[springfieldking]

嗯，楼上这个问题大概率是心跳导致的。TestFigure8Unreliable2C 这测试用例一共运行不超过40s。前10秒在可靠网络各种插入数据。中间20秒，在不可靠网络中各种插入数据。最后10s，开始的时候，恢复网络，插入一个数据，等待这个数据被提交，如果超过这10s就报错。
我的实验参数:心跳50， 选举150-300，这个实验通常在34-38秒之间完成。
假设：
1心跳变慢：日志复制的速度变慢，我认为是有可能导致最后10s内无法复制完成，当然这个和日志复制的机制有关系。
2.选举变慢：我认为选举时间不会产生这类错误，因为最后10s网络是可靠的，基本上一两次选举就可以选出leader。当然这个和选举的实现的机制有关系。

为什么实验材料上说：

The paper's Section 5.2 mentions election timeouts in the range of 150 to 300 milliseconds. Such >a range only makes sense if the leader sends heartbeats considerably more often than once per >150 milliseconds. Because the tester limits you to 10 heartbeats per second, you will have to use >an election timeout larger than the paper's 150 to 300 milliseconds, but not too large, because >then you may fail to elect a leader within five seconds.

心跳不能超过 1s 10个？

上面描述的是实验代码中测试用例的运行机制和断言失败的逻辑。

[songpengwei]

没有大理解，意思不就是心跳频率不能超过 1s 十次，即 ping 的 interval 不能低于 100 ms吗？否则测试就过不了。但是为什么 50s的心跳间隔能过测试呢？

[fj2889]

如果实现没有问题的话确实跟选举参数有关系，最后10秒等待命令提交的时候网络也是不稳定的，如果election timeout不够大，heartbeat interval不够小，就会出现有follower超时导致全部重新选举的情况，运气不好来个5 6次在10s内就不能达到log一致了
之前设置election timeout:200-350ms heartbeat interval:120ms 会平均测试60次的时候挂一次
后来设置election timeout:250-400ms heartbeat interval:100ms 稳定通过200次测试
根据测试heartbeat interval的影响会更大一些，但是既然实验中不让超过1s 10次那就设个100ms吧

[AnsonHooL]

补充一个错误，就是2C的TestFigure8Unreliable2C，乱序发送RPC，如果foller不检查日志，直接截断日志，就可能把好的日志给丢了。这个在6.824助教的错误提示有写。。。这个实验还得得细才行

[AnsonHooL]

再补充一个，选举时间reset设置的有问题，调整后就能完美通关了，批量测试了2000次

[Gypsophilax]

再补充一个，选举时间reset设置的有问题，调整后就能完美通关了，批量测试了2000次

请问 设置的 election timeout和heartbeat interval是多少，TestFigure8Unreliable2C每几十次就fail

[AnsonHooL]

再补充一个，选举时间reset设置的有问题，调整后就能完美通关了，批量测试了2000次

请问 设置的 election timeout和heartbeat interval是多少，TestFigure8Unreliable2C每几十次就fail

election timeout :300ms
heartbeat interval:150ms
你看看是什么类型的错误，如果是fail to agree，一般是写的哪里有问题，和这个时间设置应该关系不大（如果设置正常）。
选举时间reset可以重点关注，还有上面说的截断日志，只在日志conflict下才进行截断日志。

[Gypsophilax]

再补充一个，选举时间reset设置的有问题，调整后就能完美通关了，批量测试了2000次

请问 设置的 election timeout和heartbeat interval是多少，TestFigure8Unreliable2C每几十次就fail

election timeout :300ms
heartbeat interval:150ms
你看看是什么类型的错误，如果是fail to agree，一般是写的哪里有问题，和这个时间设置应该关系不大（如果设置正常）。
选举时间reset可以重点关注，还有上面说的截断日志，只在日志conflict下才进行截断日志。
是因为Leader收到过时的AppendEntries响应时对其进行了处理，导致matchIndex回退，同步超时

[GreenHatHG]

我最近也碰到了，除了上面大佬说的那个几个点，也有几个点注意一下

1. If RPC request or response contains term T > currentTerm: set currentTerm = T, convert to follower (§5.1)这个是不需要reset election timeout的
2. 注意修改currentTerm、votedFor、log[]其中一个后都要调用persist()方法，我之前就是因为第一个reply term那个点修改了currentTerm但是忘记调用了
3. 注意处理过期的RPC回复，student guide里面有写