best-practices: add massive region performance improvement doc #2039

TomShawn · 2019-11-13T12:31:47Z

What is changed, added or deleted?

This PR adds the massive Region performance improvement doc.
The added documents have been tailored for each version. Therefore, v2.1 is a little different from other versions.

What is the related PR or file link(s)?

https://pingcap.com/blog-cn/best-practice-massive-regions-performance-improvement/

Which version does your change affect?

dev, v2.1, v3.0, v3.1

Connor1996 · 2019-11-14T05:35:16Z

dev/reference/best-practices/massive-region.md

+
+需要注意的是，该 tick 消息的间隔也决定了 `election timeout` 和 `heartbeat` 的间隔。示例如下：
+
+{{< copyable "" >}}


这是什么？

如果代码块里的内容是用户需要复制的（比如可执行的 shell/bash 命令、SQL 语句等），则为了在渲染官网时代码块前能自动添加相应命令前缀（$、# 或 >），必须在代码块前添加渲染程序可识别的 code snippet。

Connor1996 · 2019-11-14T05:35:41Z

dev/reference/best-practices/massive-region.md

+
+如果 IO 资源和 CPU 资源都有较多盈余，可在单台机器上部署多个 TiKV 实例，以减少单个 TiKV 实例上的 Region 个数；或者增加扩容 TiKV 集群的机器数。
+
+### 方法二：调整 `raft-base-tick-interval`


缺少“开启 Region Merge”

v3.0 里已经默认开启 Region Merge，所以用户不需要再根据删去的内容去开启 Region Merge 了吧？这部分内容仍保留在 v2.1 里。

搞不好用户自己关了，同时还有一些调整的 reference 的文档还是可以看下的，注明默认已开启就好

dev/reference/best-practices/massive-region.md

lilin90 · 2019-11-14T12:03:17Z

dev/TOC.md

@@ -266,6 +266,7 @@
    - [高并发写入场景最佳实践](/dev/reference/best-practices/high-concurrency.md)
    - [Grafana 监控最佳实践](/dev/reference/best-practices/grafana-monitor.md)
    - [PD 调度策略最佳实践](/dev/reference/best-practices/pd-scheduling.md)
+    - [海量 Region 集群调优最佳实践](/dev/reference/best-practices/massive-region.md)


How about using the plural form of region in the file name?

Suggested change

- [海量 Region 集群调优最佳实践](/dev/reference/best-practices/massive-region.md)

- [海量 Region 集群调优最佳实践](/dev/reference/best-practices/massive-regions.md)

lilin90 · 2019-11-14T12:03:53Z

dev/reference/best-practices/massive-region.md

@@ -0,0 +1,143 @@
+---


massive-region.md -> massive-regions.md

lilin90 · 2019-11-14T12:05:26Z

dev/reference/best-practices/massive-region.md

+
+在 TiDB 的架构中，所有数据以一定 key range 被切分成若干 Region 分布在多个 TiKV 实例上。随着数据的写入，一个集群中会产生上百万个甚至千万个 Region。单个 TiKV 实例上产生过多的 Region 会给集群带来较大的负担，影响整个集群的性能表现。
+
+本文先介绍 TiKV 核心模块 Raftstore 的工作流程，海量 Region 导致性能问题的原因，以及优化性能的方法。


The word 先 is a little bit weird for me. We can just use 将.

lilin90 · 2019-11-14T12:16:49Z

dev/reference/best-practices/massive-region.md

+
+## 性能问题
+
+如上图所示，Region 依次逐个处理消息。那么在 Region 数量较多的情况下，Raftstore 会需要花费一些时间去处理大量 Region 的心跳，使一些读写请求得不到及时的处理而产生延迟。如果读写压力较大，Raftstore 线程的 CPU 使用率容易达到瓶颈，而这个延迟会进一步增加，进而影响性能表现。


根据上下文，这里不是 Region 去处理，处理的对象是 Region 消息。

使一些读写请求得不到及时的处理而产生延迟：这里是指 Raftstore 的延迟导致读写请求得不到及时处理。

Suggested change

如上图所示，Region 依次逐个处理消息。那么在 Region 数量较多的情况下，Raftstore 会需要花费一些时间去处理大量 Region 的心跳，使一些读写请求得不到及时的处理而产生延迟。如果读写压力较大，Raftstore 线程的 CPU 使用率容易达到瓶颈，而这个延迟会进一步增加，进而影响性能表现。

从 Raftstore 处理流程示意图可以看出，众多 Region 消息需要一个接一个地依次处理。那么在 Region 数量较多的情况下，Raftstore 需要花费一些时间去处理大量 Region 的心跳，从而带来一些延迟，导致某些读写请求得不到及时处理。如果读写压力较大，Raftstore 线程的 CPU 使用率容易达到瓶颈，导致延迟进一步增加，进而影响性能表现。

“众多 Region 消息需要一个接一个地依次处理” 感觉没有表现出 Region 的消息是 batch 在一起的。一次性处理的是整个 Region 的消息，而不是所有 Region 消息混杂在一起一个接一个的处理。“众多 Region 需要一个接一个地依次处理消息” 这样如何？

众多 Region 需要一个接一个地依次处理消息，这样读者可能会以为是 Region 在处理消息。成批出现的 Region 消息需要一个接一个地依次被处理 这样呢？

"Region 处理消息“ 感觉逻辑上没有什么问题。那这样说 ”Raftstore 一个接一个地驱动 Region 去处理它们的消息“？

@Connor1996 Got it. 要不就这样呢？“需要依次处理各个 Region 的消息” @TomShawn

lilin90 · 2019-11-14T12:26:27Z

dev/reference/best-practices/massive-region.md

+> **注意：**
+>
+> + Raftstore 的 CPU 使用率是指单线程的情况。如果是多线程 Raftstore，可等比例放大使用率。
+> + 由于 Raftstore 线程中有 IO 操作，所以 CPU 使用率不可能达到 100%。


Suggested change

> + 由于 Raftstore 线程中有 IO 操作，所以 CPU 使用率不可能达到 100%。

> + 由于 Raftstore 线程中有 I/O 操作，所以 CPU 使用率不可能达到 100%。

lilin90 · 2019-11-14T12:26:58Z

dev/reference/best-practices/massive-region.md

+
+### 性能监控
+
+这一监控 metrics 可在 TiKV Grafana 面板下查看：


Suggested change

这一监控 metrics 可在 TiKV Grafana 面板下查看：

可在 Grafana 的 TiKV 面板下查看相关的监控 metrics：

lilin90 · 2019-11-14T12:41:20Z

dev/reference/best-practices/massive-region.md

+
+### 方法一：增加 TiKV 实例
+
+如果 IO 资源和 CPU 资源都有较多盈余，可在单台机器上部署多个 TiKV 实例，以减少单个 TiKV 实例上的 Region 个数；或者增加扩容 TiKV 集群的机器数。


Suggested change

如果 IO 资源和 CPU 资源都有较多盈余，可在单台机器上部署多个 TiKV 实例，以减少单个 TiKV 实例上的 Region 个数；或者增加扩容 TiKV 集群的机器数。

如果 I/O 资源和 CPU 资源都比较充足，可在单台机器上部署多个 TiKV 实例，以减少单个 TiKV 实例上的 Region 个数；或者增加 TiKV 集群的机器数。

lilin90 · 2019-11-14T12:43:51Z

dev/reference/best-practices/massive-region.md

+
+在实际情况中，读写请求并不会均匀分布到每个 Region 上，而是集中在少数的 Region 上。那么可以尽量减少暂时空闲的 Region 的消息数量，这也就是 Hibernate Region 的功能。无必要时可不进行 `raft-base-tick`，即不驱动空闲 Region 的 Raft 状态机，那么就不会触发这些 Region 的 Raft 产生心跳信息，极大地减小了 Raftstore 的工作负担。
+
+截止 TiDB v3.0.5，Hibernate Region 仍是一个实验功能，在 [TiKV master](https://github.com/tikv/tikv/tree/master) 分支上已经默认开启。可根据实际情况和需求来开启该功能。Hibernate Region 的配置说明请参考[配置 Hibernate Region](https://github.com/tikv/tikv/blob/master/docs/reference/configuration/raftstore-config.md#hibernate-region)。


Suggested change

截止 TiDB v3.0.5，Hibernate Region 仍是一个实验功能，在 [TiKV master](https://github.com/tikv/tikv/tree/master) 分支上已经默认开启。可根据实际情况和需求来开启该功能。Hibernate Region 的配置说明请参考[配置 Hibernate Region](https://github.com/tikv/tikv/blob/master/docs/reference/configuration/raftstore-config.md#hibernate-region)。

截至 TiDB v3.0.5，Hibernate Region 仍是一个实验功能，在 [TiKV master](https://github.com/tikv/tikv/tree/master) 分支上已经默认开启。可根据实际情况和需求来开启该功能。Hibernate Region 的配置说明请参考[配置 Hibernate Region](https://github.com/tikv/tikv/blob/master/docs/reference/configuration/raftstore-config.md#hibernate-region)。

lilin90 · 2019-11-14T12:44:31Z

dev/reference/best-practices/massive-region.md

+
+开启 `Region Merge` 也能减少 Region 的个数。与 `Region Split` 相反，`Region Merge` 是通过调度把相邻的小 Region 合并的过程。在集群中删除数据或者执行 `Drop Table`/`Truncate Table` 语句后，可以将小 Region 甚至空 Region 进行合并以减少资源的消耗。
+
+通过 pd-ctl 设置以下参数即可开启 `Region Merge`:


Suggested change

通过 pd-ctl 设置以下参数即可开启 `Region Merge`:

通过 pd-ctl 设置以下参数即可开启 `Region Merge`：

lilin90 · 2019-11-14T12:45:18Z

dev/reference/best-practices/massive-region.md

+
+详情请参考[如何配置 Region Merge](https://github.com/tikv/tikv/blob/master/docs/how-to/configure/region-merge.md) 和 [PD 配置文件描述](/dev/reference/configuration/pd-server/configuration-file.md#schedule) 。
+
+同时，默认配置的 `Region Merge` 的参数设置较为保守，可以根据需求参考 [TiDB 最佳实践系列（二）PD 调度策略](https://pingcap.com/blog-cn/best-practice-pd/#5-region-merge-%E9%80%9F%E5%BA%A6%E6%85%A2) 中提供的方法加快 `Region Merge` 过程的速度。


为什么不用 docs-cn 中已发布的 PD 最佳实践链接呢？

Suggested change

同时，默认配置的 `Region Merge` 的参数设置较为保守，可以根据需求参考 [TiDB 最佳实践系列（二）PD 调度策略](https://pingcap.com/blog-cn/best-practice-pd/#5-region-merge-%E9%80%9F%E5%BA%A6%E6%85%A2) 中提供的方法加快 `Region Merge` 过程的速度。

同时，默认配置的 `Region Merge` 的参数设置较为保守，可以根据需求参考 [TiDB 最佳实践系列（二）PD 调度策略](/dev/reference/best-practices/pd-scheduling.md#region-merge-速度慢) 中提供的方法加快 `Region Merge` 过程的速度。

Connor1996

LGTM

lilin90

LGTM

best-practices: add massiv region performance improvement doc

82833d6

TomShawn added v2.1 area/best-practices Adds or updates TiDB best practices. labels Nov 13, 2019

TomShawn changed the title ~~best-practices: add massiv region performance improvement doc~~ best-practices: add massive region performance improvement doc Nov 13, 2019

TomShawn added 3 commits November 13, 2019 20:34

best-practices: fix a typo

20865db

best-practices: fix a broken link

ba0dfd0

best-practices: remove a link

d4413cc

TomShawn requested a review from Connor1996 November 13, 2019 12:46

Connor1996 reviewed Nov 14, 2019

View reviewed changes

TomShawn requested a review from lilin90 November 14, 2019 07:20

TomShawn added 3 commits November 14, 2019 19:56

best-practices: add back removed content

d814f32

fix a broken link to pass CI

10e6aec

best-practices: fix a typo

0a708ae

Connor1996 reviewed Nov 14, 2019

View reviewed changes

dev/reference/best-practices/massive-region.md Outdated Show resolved Hide resolved

lilin90 reviewed Nov 14, 2019

View reviewed changes

TomShawn and others added 4 commits November 15, 2019 10:43

address all comments

042dfa3

best-practices: change file name

7e4d410

Merge branch 'master' into huge-region-amount

d826b87

best-practices: address comment

08b283a

Connor1996 approved these changes Nov 18, 2019

View reviewed changes

Merge branch 'master' into huge-region-amount

ed4e463

TomShawn added the translation/doing This PR’s assignee is translating this PR. label Nov 20, 2019

TomShawn self-assigned this Nov 20, 2019

Merge branch 'master' into huge-region-amount

28e7a66

lilin90 approved these changes Nov 22, 2019

View reviewed changes

Merge branch 'master' into huge-region-amount

9c2267d

lilin90 merged commit 196c741 into pingcap:master Nov 22, 2019

TomShawn mentioned this pull request Dec 12, 2019

best-practices: add massive region performance tuning best practices pingcap/docs#1704

Merged

TomShawn added translation/done This PR has been translated from English into Chinese and updated to pingcap/docs-cn in a PR. and removed translation/doing This PR’s assignee is translating this PR. labels Jan 8, 2020

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

best-practices: add massive region performance improvement doc #2039

best-practices: add massive region performance improvement doc #2039

TomShawn commented Nov 13, 2019 •

edited

Loading

Connor1996 Nov 14, 2019

TomShawn Nov 14, 2019

Connor1996 Nov 14, 2019

TomShawn Nov 14, 2019

Connor1996 Nov 14, 2019 •

edited

Loading

TomShawn Nov 14, 2019

lilin90 Nov 14, 2019

lilin90 Nov 14, 2019

lilin90 Nov 14, 2019

lilin90 Nov 14, 2019

Connor1996 Nov 15, 2019

TomShawn Nov 15, 2019

Connor1996 Nov 15, 2019

lilin90 Nov 15, 2019 •

edited

Loading

Connor1996 Nov 15, 2019

lilin90 Nov 14, 2019

lilin90 Nov 14, 2019

lilin90 Nov 14, 2019

lilin90 Nov 14, 2019

lilin90 Nov 14, 2019

lilin90 Nov 14, 2019

Connor1996 left a comment

lilin90 left a comment


		需要注意的是，该 tick 消息的间隔也决定了 `election timeout` 和 `heartbeat` 的间隔。示例如下：

		{{< copyable "" >}}


		如果 IO 资源和 CPU 资源都有较多盈余，可在单台机器上部署多个 TiKV 实例，以减少单个 TiKV 实例上的 Region 个数；或者增加扩容 TiKV 集群的机器数。

		### 方法二：调整 `raft-base-tick-interval`

	- [海量 Region 集群调优最佳实践](/dev/reference/best-practices/massive-region.md)
	- [海量 Region 集群调优最佳实践](/dev/reference/best-practices/massive-regions.md)


		在 TiDB 的架构中，所有数据以一定 key range 被切分成若干 Region 分布在多个 TiKV 实例上。随着数据的写入，一个集群中会产生上百万个甚至千万个 Region。单个 TiKV 实例上产生过多的 Region 会给集群带来较大的负担，影响整个集群的性能表现。

		本文先介绍 TiKV 核心模块 Raftstore 的工作流程，海量 Region 导致性能问题的原因，以及优化性能的方法。


		## 性能问题

		如上图所示，Region 依次逐个处理消息。那么在 Region 数量较多的情况下，Raftstore 会需要花费一些时间去处理大量 Region 的心跳，使一些读写请求得不到及时的处理而产生延迟。如果读写压力较大，Raftstore 线程的 CPU 使用率容易达到瓶颈，而这个延迟会进一步增加，进而影响性能表现。

	> + 由于 Raftstore 线程中有 IO 操作，所以 CPU 使用率不可能达到 100%。
	> + 由于 Raftstore 线程中有 I/O 操作，所以 CPU 使用率不可能达到 100%。


		### 性能监控

		这一监控 metrics 可在 TiKV Grafana 面板下查看：

	这一监控 metrics 可在 TiKV Grafana 面板下查看：
	可在 Grafana 的 TiKV 面板下查看相关的监控 metrics：


		### 方法一：增加 TiKV 实例

		如果 IO 资源和 CPU 资源都有较多盈余，可在单台机器上部署多个 TiKV 实例，以减少单个 TiKV 实例上的 Region 个数；或者增加扩容 TiKV 集群的机器数。

	如果 IO 资源和 CPU 资源都有较多盈余，可在单台机器上部署多个 TiKV 实例，以减少单个 TiKV 实例上的 Region 个数；或者增加扩容 TiKV 集群的机器数。
	如果 I/O 资源和 CPU 资源都比较充足，可在单台机器上部署多个 TiKV 实例，以减少单个 TiKV 实例上的 Region 个数；或者增加 TiKV 集群的机器数。


		在实际情况中，读写请求并不会均匀分布到每个 Region 上，而是集中在少数的 Region 上。那么可以尽量减少暂时空闲的 Region 的消息数量，这也就是 Hibernate Region 的功能。无必要时可不进行 `raft-base-tick`，即不驱动空闲 Region 的 Raft 状态机，那么就不会触发这些 Region 的 Raft 产生心跳信息，极大地减小了 Raftstore 的工作负担。

		截止 TiDB v3.0.5，Hibernate Region 仍是一个实验功能，在 [TiKV master](https://github.com/tikv/tikv/tree/master) 分支上已经默认开启。可根据实际情况和需求来开启该功能。Hibernate Region 的配置说明请参考[配置 Hibernate Region](https://github.com/tikv/tikv/blob/master/docs/reference/configuration/raftstore-config.md#hibernate-region)。

	截止 TiDB v3.0.5，Hibernate Region 仍是一个实验功能，在 [TiKV master](https://github.com/tikv/tikv/tree/master) 分支上已经默认开启。可根据实际情况和需求来开启该功能。Hibernate Region 的配置说明请参考[配置 Hibernate Region](https://github.com/tikv/tikv/blob/master/docs/reference/configuration/raftstore-config.md#hibernate-region)。
	截至 TiDB v3.0.5，Hibernate Region 仍是一个实验功能，在 [TiKV master](https://github.com/tikv/tikv/tree/master) 分支上已经默认开启。可根据实际情况和需求来开启该功能。Hibernate Region 的配置说明请参考[配置 Hibernate Region](https://github.com/tikv/tikv/blob/master/docs/reference/configuration/raftstore-config.md#hibernate-region)。


		开启 `Region Merge` 也能减少 Region 的个数。与 `Region Split` 相反，`Region Merge` 是通过调度把相邻的小 Region 合并的过程。在集群中删除数据或者执行 `Drop Table`/`Truncate Table` 语句后，可以将小 Region 甚至空 Region 进行合并以减少资源的消耗。

		通过 pd-ctl 设置以下参数即可开启 `Region Merge`:

	通过 pd-ctl 设置以下参数即可开启 `Region Merge`:
	通过 pd-ctl 设置以下参数即可开启 `Region Merge`：


		详情请参考[如何配置 Region Merge](https://github.com/tikv/tikv/blob/master/docs/how-to/configure/region-merge.md) 和 [PD 配置文件描述](/dev/reference/configuration/pd-server/configuration-file.md#schedule) 。

		同时，默认配置的 `Region Merge` 的参数设置较为保守，可以根据需求参考 [TiDB 最佳实践系列（二）PD 调度策略](https://pingcap.com/blog-cn/best-practice-pd/#5-region-merge-%E9%80%9F%E5%BA%A6%E6%85%A2) 中提供的方法加快 `Region Merge` 过程的速度。

best-practices: add massive region performance improvement doc #2039

best-practices: add massive region performance improvement doc #2039

Conversation

TomShawn commented Nov 13, 2019 • edited Loading

What is changed, added or deleted?

What is the related PR or file link(s)?

Which version does your change affect?

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Connor1996 Nov 14, 2019 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

lilin90 Nov 15, 2019 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Connor1996 left a comment

Choose a reason for hiding this comment

lilin90 left a comment

Choose a reason for hiding this comment

TomShawn commented Nov 13, 2019 •

edited

Loading

Connor1996 Nov 14, 2019 •

edited

Loading

lilin90 Nov 15, 2019 •

edited

Loading