Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Remove all TiDB Ansible related contents from dev #5157

Merged
merged 14 commits into from
Dec 29, 2020
8 changes: 0 additions & 8 deletions TOC.md
Original file line number Diff line number Diff line change
Expand Up @@ -36,13 +36,8 @@
+ Linux 环境
+ [使用 TiUP 部署(推荐)](/production-deployment-using-tiup.md)
+ [使用 TiUP 离线部署(推荐)](/production-offline-deployment-using-tiup.md)
+ [使用 Ansible 部署](/online-deployment-using-ansible.md)
+ [使用 Ansible 离线部署](/offline-deployment-using-ansible.md)
+ [在 Kubernetes 上部署](https://docs.pingcap.com/zh/tidb-in-kubernetes/stable)
+ [验证集群状态](/post-installation-check.md)
+ 性能测试方法
+ [如何用 Sysbench 测试 TiDB](/benchmark/benchmark-tidb-using-sysbench.md)
+ [如何对 TiDB 进行 TPC-C 测试](/benchmark/benchmark-tidb-using-tpcc.md)
+ 数据迁移
+ [概述](/migration-overview.md)
+ 从 MySQL 迁移至 TiDB
Expand All @@ -57,10 +52,8 @@
+ [使用 TiUP 升级(推荐)](/upgrade-tidb-using-tiup.md)
+ [使用 TiUP 离线升级(推荐)](/upgrade-tidb-using-tiup-offline.md)
+ [使用 TiDB Operator](https://docs.pingcap.com/zh/tidb-in-kubernetes/v1.1/upgrade-a-tidb-cluster)
+ [使用 TiDB Ansible](/upgrade-tidb-using-ansible.md)
+ 扩缩容
+ [使用 TiUP(推荐)](/scale-tidb-using-tiup.md)
+ [使用 TiDB Ansible](/scale-tidb-using-ansible.md)
+ [使用 TiDB Operator](https://docs.pingcap.com/zh/tidb-in-kubernetes/v1.1/scale-a-tidb-cluster)
+ 备份与恢复
+ 使用 BR 工具(推荐)
Expand All @@ -74,7 +67,6 @@
+ [日常巡检](/daily-check.md)
+ [TiFlash 常用运维操作](/tiflash/maintain-tiflash.md)
+ [TiUP 常用运维操作](/maintain-tidb-using-tiup.md)
+ [Ansible 常用运维操作](/maintain-tidb-using-ansible.md)
+ [在线修改集群配置](/dynamic-config.md)
+ 监控与告警
+ [监控框架概述](/tidb-monitoring-framework.md)
Expand Down
4 changes: 2 additions & 2 deletions best-practices/grafana-monitor-best-practices.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,7 +6,7 @@ aliases: ['/docs-cn/dev/best-practices/grafana-monitor-best-practices/','/docs-c

# 使用 Grafana 监控 TiDB 的最佳实践

[使用 TiDB Ansible 部署 TiDB 集群](/online-deployment-using-ansible.md)时,会同时部署一套 [Grafana + Prometheus 的监控平台](/tidb-monitoring-framework.md),用于收集和展示 TiDB 集群各个组件和机器的 metric 信息。本文主要介绍使用 TiDB 监控的最佳实践,旨在帮助 TiDB 用户高效利用丰富的 metric 信息来分析 TiDB 的集群状态或进行故障诊断。
[使用 TiUP 部署 TiDB 集群](/production-deployment-using-tiup.md)时,如果在拓扑配置中添加了 Grafana 和 Prometheus,会部署一套 [Grafana + Prometheus 的监控平台](/tidb-monitoring-framework.md),用于收集和展示 TiDB 集群各个组件和机器的 metric 信息。本文主要介绍使用 TiDB 监控的最佳实践,旨在帮助 TiDB 用户高效利用丰富的 metric 信息来分析 TiDB 的集群状态或进行故障诊断。
Copy link
Contributor Author

@TomShawn TomShawn Dec 23, 2020

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Confirmed with @lonng


## 监控架构

Expand All @@ -17,7 +17,7 @@ Prometheus 是一个拥有多维度数据模型和灵活查询语句的时序数
从 TiDB 2.1.3 版本开始,监控可以支持 pull,这是一个非常好的调整,它有以下几个优点:

- 如果 Prometheus 需要迁移,无需重启整个 TiDB 集群。调整前,因为组件要调整 push 的目标地址,迁移 Prometheus 需要重启整个集群。
- 支持部署 2 套独立的 Grafana + Prometheus 的监控平台(非 HA),防止监控的单点。方法是使用 TiDB Ansible 用不同的 IP 各执行一次部署命令。
- 支持部署 2 套独立的 Grafana + Prometheus 的监控平台(非 HA),防止监控的单点。
- 去掉了 Pushgateway 这个单点组件。

## 监控数据的来源与展示
Expand Down
2 changes: 1 addition & 1 deletion dashboard/dashboard-diagnostics-access.md
Original file line number Diff line number Diff line change
Expand Up @@ -13,7 +13,7 @@ aliases: ['/docs-cn/dev/dashboard/dashboard-diagnostics-access/']

> **注意:**
>
> 集群诊断功能依赖于集群中部署有 Prometheus 监控组件,参见 [TiUP](/tiup/tiup-overview.md) 或 [TiDB Ansible](/online-deployment-using-ansible.md) 部署文档了解如何部署监控组件。若集群中没有部署监控组件,生成的诊断报告中将提示生成失败。
> 集群诊断功能依赖于集群中部署有 Prometheus 监控组件,参见 [TiUP](/tiup/tiup-overview.md) 部署文档了解如何部署监控组件。若集群中没有部署监控组件,生成的诊断报告中将提示生成失败。

## 访问

Expand Down
2 changes: 1 addition & 1 deletion dashboard/dashboard-faq.md
Original file line number Diff line number Diff line change
Expand Up @@ -29,7 +29,7 @@ PD 中的 TiDB Dashboard 出于安全考虑仅监听部署时所指定的 IP 地

QPS 及 Latency 监控依赖于集群中已正常部署 Prometheus 监控实例,没有部署的情况下就会显示为错误。向集群中新部署 Prometheus 实例即可解决该问题。

若已经部署 Prometheus 监控实例但仍然显示为错误,可能的原因是您使用的部署工具(TiUP、TiDB Operator 或 TiDB Ansible)版本比较旧,没有自动汇报监控地址,导致 TiDB Dashboard 无法感知并查询监控数据。可以升级到最新的部署工具并重试。
若已经部署 Prometheus 监控实例但仍然显示为错误,可能的原因是您使用的部署工具(TiUP 或 TiDB Operator)版本比较旧,没有自动汇报监控地址,导致 TiDB Dashboard 无法感知并查询监控数据。可以升级到最新的部署工具并重试。

以下给出 TiUP 部署工具的操作方法,对于其他部署工具,请参阅工具对应文档。

Expand Down
2 changes: 1 addition & 1 deletion dashboard/dashboard-overview.md
Original file line number Diff line number Diff line change
Expand Up @@ -64,7 +64,7 @@ aliases: ['/docs-cn/dev/dashboard/dashboard-overview/']

> **注意:**
>
> 该功能仅在配置开启了慢查询日志的集群中可用,使用 TiUP 或 Ansible 部署的集群默认开启慢查询日志。
> 该功能仅在配置开启了慢查询日志的集群中可用,使用 TiUP 部署的集群默认开启慢查询日志。

## 实例

Expand Down
44 changes: 5 additions & 39 deletions faq/deploy-and-maintain-faq.md
Original file line number Diff line number Diff line change
Expand Up @@ -90,7 +90,7 @@ TiDB 支持部署和运行在 Intel x86-64 架构的 64 位通用硬件服务器
| **变量** | **含义** |
| --- | --- |
| cluster_name | 集群名称,可调整 |
| tidb_version | TiDB 版本,TiDB Ansible 各分支默认已配置 |
| tidb_version | TiDB 版本 |
| deployment_method | 部署方式,默认为 binary,可选 docker |
| process_supervision | 进程监管方式,默认为 systemd,可选 supervise |
| timezone | 修改部署目标机器时区,默认为 Asia/Shanghai, 可调整,与set_timezone 变量结合使用 |
Expand All @@ -105,22 +105,13 @@ TiDB 支持部署和运行在 Intel x86-64 架构的 64 位通用硬件服务器
| enable_slow_query_log | TiDB 慢查询日志记录到单独文件({{ deploy_dir }}/log/tidb_slow_query.log),默认为 False,记录到 tidb 日志 |
| deploy_without_tidb | KV 模式,不部署 TiDB 服务,仅部署 PD、TiKV 及监控服务,请将 inventory.ini 文件中 tidb_servers 主机组 IP 设置为空。 |

### TiDB 离线 Ansible 部署方案(4.0 版本后不推荐使用)

首先这不是我们建议的方式,如果中控机没有外网,也可以通过离线 Ansible 部署方式,详情可参考[离线 TiDB Ansible 部署方案](/offline-deployment-using-ansible.md)。

### Docker Compose 快速构建集群(单机部署)

使用 docker-compose 在本地一键拉起一个集群,包括集群监控,还可以根据需求自定义各个组件的软件版本和实例个数,以及自定义配置文件,这种只限于开发环境,详细可参考[官方文档](/deploy-test-cluster-using-docker-compose.md)。

### 如何单独记录 TiDB 中的慢查询日志,如何定位慢查询 SQL?

1)TiDB 中,对慢查询的定义在 tidb-ansible 的 `conf/tidb.yml` 配置文件中,`slow-threshold: 300`,这个参数是配置慢查询记录阈值的,单位是 ms。

慢查询日志默认记录到 tidb.log 中,如果希望生成单独的慢查询日志文件,修改 inventory.ini 配置文件的参数 `enable_slow_query_log` 为 True。

如上配置修改之后,需要执行 `ansible-playbook rolling_update.yml --tags=tidb`,对 tidb-server 实例进行滚动升级,升级完成后,tidb-server 将在 `tidb_slow_query.log`
文件中记录慢查询日志。
1)TiDB 中,对慢查询的定义在 TiDB 的配置文件中。`slow-threshold: 300`,这个参数是配置慢查询记录阈值的,单位是 ms。

2)如果出现了慢查询,可以从 Grafana 监控定位到出现慢查询的 tidb-server 以及时间点,然后在对应节点查找日志中记录的 SQL 信息。

Expand Down Expand Up @@ -154,31 +145,10 @@ Direct 模式就是把写入请求直接封装成 I/O 指令发到磁盘,这
./fio -ioengine=psync -bs=32k -fdatasync=1 -thread -rw=randrw -percentage_random=100,0 -size=10G -filename=fio_randread_write_test.txt -name='fio mixed randread and sequential write test' -iodepth=4 -runtime=60 -numjobs=4 -group_reporting --output-format=json --output=fio_randread_write_test.json
```

### 使用 TiDB Ansible 部署 TiDB 集群的时候,遇到 `UNREACHABLE! "msg": "Failed to connect to the host via ssh: "` 报错是什么原因?

有两种可能性:

- ssh 互信的准备工作未做好,建议严格参照我们的[官方文档步骤](/online-deployment-using-ansible.md)配置互信,并使用命令 `ansible -i inventory.ini all -m shell -a 'whoami' -b` 来验证互信配置是否成功。

- 如果涉及到单服务器分配了多角色的场景,例如多组件混合部署或单台服务器部署了多个 TiKV 实例,可能是由于 ssh 复用的机制引起这个报错,可以使用 `ansible … -f 1` 的选项来规避这个报错。

## 集群管理 FAQ

### 集群日常管理

#### Ansible 常见运维操作有那些?

| **任务** | **Playbook** |
| --- | --- |
| 启动集群 | ansible-playbook start.yml |
| 停止集群 | ansible-playbook stop.yml |
| 销毁集群 | ansible-playbook unsafe\_cleanup.yml (若部署目录为挂载点,会报错,可忽略) |
| 清除数据(测试用) | ansible-playbook cleanup\_data.yml |
| 滚动升级 | ansible-playbook rolling\_update.yml |
| 滚动升级 TiKV | ansible-playbook rolling\_update.yml --tags=tikv |
| 滚动升级除 PD 外模块 | ansible-playbook rolling\_update.yml --skip-tags=pd |
| 滚动升级监控组件 | ansible-playbook rolling\_update\_monitor.yml |

#### TiDB 如何登录?

和 MySQL 登录方式一样,可以按照下面例子进行登录。
Expand All @@ -203,7 +173,7 @@ Direct 模式就是把写入请求直接封装成 I/O 指令发到磁盘,这

#### 如何规范停止 TiDB?

如果是用 TiDB Ansible 部署的,可以使用 `ansible-playbook stop.yml` 命令停止 TiDB 集群。如果不是 TiDB Ansible 部署的,可以直接 kill 掉所有服务。如果使用 kill 命令,TiDB 的组件会做 graceful 的 shutdown。
可以直接 kill 掉所有服务。如果使用 kill 命令,TiDB 的组件会做 graceful 的 shutdown。

#### TiDB 里面可以执行 kill 命令吗?

Expand All @@ -224,7 +194,7 @@ TiDB 版本目前逐步标准化,每次 Release 都包含详细的 Change log
- `1` 表示该版本 commit 1 次
- `ga80e796` 代表版本的 `git-hash`

#### 分不清 TiDB master 版本之间的区别,经常用错 TiDB Ansible 版本?
#### 分不清 TiDB master 版本之间的区别,应该怎么办?

TiDB 目前社区非常活跃,在 1.0 GA 版本发布后,还在不断的优化和修改 BUG,因此 TiDB 的版本更新周期比较快,会不定期有新版本发布,请关注我们的[新版本发布官方网站](https://pingcap.com/weekly/)。此外 TiDB 安装推荐[使用 TiUP 进行安装](/production-deployment-using-tiup.md)。此外,在 TiDB 1.0 GA 版本后,对 TiDB 的版本号进行了统一管理,TiDB 的版本可以通过以下两种方式进行查看:

Expand Down Expand Up @@ -292,11 +262,7 @@ Client 连接只能通过 TiDB 访问集群,TiDB 负责连接 PD 与 TiKV,PD

#### 集群下线节点后,怎么删除老集群节点监控信息?

下线节点一般指 TiKV 节点通过 pd-ctl 或者监控判断节点是否下线完成。节点下线完成后,手动停止下线节点上相关的服务。从 Prometheus 配置文件中删除对应节点的 node_exporter 信息。从 Ansible inventory.ini 中删除对应节点的信息。

#### 使用 PD Control 连接 PD Server 时,为什么只能通过本机 IP 连接,不能通过 127.0.0.1 连接?

因为使用 TiDB Ansible 部署的集群,PD 对外服务端口不会绑定到 127.0.0.1,所以 PD Control 不会识别 127.0.0.1。
下线节点一般指 TiKV 节点通过 pd-ctl 或者监控判断节点是否下线完成。节点下线完成后,手动停止下线节点上相关的服务。从 Prometheus 配置文件中删除对应节点的 node_exporter 信息。

### TiDB server 管理

Expand Down
10 changes: 0 additions & 10 deletions faq/migration-tidb-faq.md
Original file line number Diff line number Diff line change
Expand Up @@ -72,16 +72,6 @@ DB2、Oracle 到 TiDB 数据迁移(增量+全量),通常做法有:

详细参考 [Syncer 使用文档](/syncer-overview.md)。

#### 如何配置监控 Syncer 运行情况?

下载 [Syncer Json](https://github.com/pingcap/tidb-ansible/blob/master/scripts/syncer.json) 导入到 Grafana,修改 Prometheus 配置文件,添加以下内容:

- job_name: 'syncer_ops' // 任务名字
static_configs:
- targets: ['10.10.1.1:10096'] //Syncer 监听地址与端口,通知 prometheus 拉取 Syncer 的数据。

重启 Prometheus 即可。

#### 有没有现成的同步方案,可以将数据同步到 Hbase、Elasticsearh 等其他存储?

没有,目前依赖程序自行实现。
Expand Down
2 changes: 1 addition & 1 deletion get-started-with-tispark.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ aliases: ['/docs-cn/dev/get-started-with-tispark/','/docs-cn/dev/how-to/get-star

# TiSpark 快速上手

为了让大家快速体验 [TiSpark](/tispark-overview.md),通过 TiDB Ansible 安装的 TiDB 集群中默认已集成 Spark、TiSpark jar 包及 TiSpark sample data
为了让大家快速体验 [TiSpark](/tispark-overview.md),通过 TiUP 安装的 TiDB 集群中默认已集成 SparkTiSpark jar 包
Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Confirmed with @marsishandsome


## 部署信息

Expand Down
2 changes: 1 addition & 1 deletion grafana-overview-dashboard.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ aliases: ['/docs-cn/dev/grafana-overview-dashboard/','/docs-cn/dev/reference/key

# Overview 面板重要监控指标详解

使用 TiDB Ansible 或 TiUP 部署 TiDB 集群时,一键部署监控系统 (Prometheus & Grafana),监控架构参见 [TiDB 监控框架概述](/tidb-monitoring-framework.md)。
使用 TiUP 部署 TiDB 集群时,一键部署监控系统 (Prometheus & Grafana),监控架构参见 [TiDB 监控框架概述](/tidb-monitoring-framework.md)。

目前 Grafana Dashboard 整体分为 PD、TiDB、TiKV、Node\_exporter、Overview 等。

Expand Down
2 changes: 1 addition & 1 deletion grafana-pd-dashboard.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ aliases: ['/docs-cn/dev/grafana-pd-dashboard/','/docs-cn/dev/reference/key-monit

# PD 重要监控指标详解

使用 TiDB Ansible 或 TiUP 部署 TiDB 集群时,一键部署监控系统 (Prometheus & Grafana),监控架构参见 [TiDB 监控框架概述](/tidb-monitoring-framework.md)。
使用 TiUP 部署 TiDB 集群时,一键部署监控系统 (Prometheus & Grafana),监控架构参见 [TiDB 监控框架概述](/tidb-monitoring-framework.md)。

目前 Grafana Dashboard 整体分为 PD、TiDB、TiKV、Node\_exporter、Overview 等。

Expand Down
2 changes: 1 addition & 1 deletion grafana-tidb-dashboard.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ aliases: ['/docs-cn/dev/grafana-tidb-dashboard/','/docs-cn/dev/reference/key-mon

# TiDB 重要监控指标详解

使用 TiDB Ansible 或 TiUP 部署 TiDB 集群时,一键部署监控系统 (Prometheus & Grafana),监控架构参见 [TiDB 监控框架概述](/tidb-monitoring-framework.md)。
使用 TiUP 部署 TiDB 集群时,一键部署监控系统 (Prometheus & Grafana),监控架构参见 [TiDB 监控框架概述](/tidb-monitoring-framework.md)。

目前 Grafana Dashboard 整体分为 PD、TiDB、TiKV、Node\_exporter、Overview 等。TiDB 分为 TiDB 和 TiDB Summary 面板,两个面板的区别如下:

Expand Down
2 changes: 1 addition & 1 deletion grafana-tikv-dashboard.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ aliases: ['/docs-cn/dev/grafana-tikv-dashboard/','/docs-cn/dev/reference/key-mon

# TiKV 监控指标详解

使用 TiDB Ansible 或 TiUP 部署 TiDB 集群时,一键部署监控系统 (Prometheus & Grafana),监控架构参见 [TiDB 监控框架概述](/tidb-monitoring-framework.md)。
使用 TiUP 部署 TiDB 集群时,一键部署监控系统 (Prometheus & Grafana),监控架构参见 [TiDB 监控框架概述](/tidb-monitoring-framework.md)。

目前 Grafana Dashboard 整体分为 PD、TiDB、TiKV、Node\_exporter、Overview 等。

Expand Down
46 changes: 0 additions & 46 deletions maintain-tidb-using-ansible.md

This file was deleted.

6 changes: 5 additions & 1 deletion maintain-tidb-using-tiup.md
Original file line number Diff line number Diff line change
@@ -1,12 +1,16 @@
---
title: TiUP 常见运维操作
aliases: ['/docs-cn/dev/maintain-tidb-using-tiup/','/docs-cn/dev/how-to/maintain/tiup-operations/']
aliases: ['/docs-cn/dev/maintain-tidb-using-tiup/','/docs-cn/dev/how-to/maintain/tiup-operations/','/zh/tidb/dev/maintain-tidb-using-ansible/','/docs-cn/dev/maintain-tidb-using-ansible/','/docs-cn/dev/how-to/maintain/ansible-operations/']
---

# TiUP 常见运维操作

本文介绍了使用 TiUP 运维 TiDB 集群的常见操作,包括查看集群列表、启动集群、查看集群状态、修改配置参数、关闭集群、销毁集群等。

> **注意:**
>
> 从 TiDB v4.0 起,PingCAP 不再提供 TiDB Ansible 的支持。从 v5.0 起,不再提供 TiDB Ansible 的文档。如需阅读使用 TiDB Ansible 运维 TiDB 集群的文档,可参阅 [TiDB Ansible 常见运维操作](https://docs.pingcap.com/zh/tidb/v4.0/maintain-tidb-using-ansible)。

## 查看集群列表

TiUP cluster 组件可以用来管理多个 TiDB 集群,在每个 TiDB 集群部署完毕后,该集群会出现在 TiUP 的集群列表里,可以使用 list 命令来查看。
Expand Down
Loading