Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

cdc: add compatibility notes for sort-dir #6648

Merged
merged 6 commits into from
Jul 15, 2021
Merged
Changes from 4 commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
10 changes: 10 additions & 0 deletions ticdc/ticdc-overview.md
Original file line number Diff line number Diff line change
Expand Up @@ -123,3 +123,13 @@ TiCDC 从 4.0.8 版本开始,可通过修改任务配置来同步**没有有
## TiCDC 开放数据协议

TiCDC Open Protocol 是一种行级别的数据变更通知协议,为监控、缓存、全文索引、分析引擎、异构数据库的主从复制等提供数据源。TiCDC 遵循 TiCDC Open Protocol,向 MQ (Message Queue) 等第三方数据媒介复制 TiDB 的数据变更。详细信息参考 [TiCDC 开放数据协议](/ticdc/ticdc-open-protocol.md)。

## `sort-dir` 及 `data-dir` 配置项的兼容性说明

`sort-dir` 配置项用于给 TiCDC 内部的排序器指定临时文件目录,其作用在各版本有过如下兼容性更改:

| 版本 | `sort-engine` 的使用 | 说明 | 建议 |
TomShawn marked this conversation as resolved.
Show resolved Hide resolved
| :--- | :--- | :-- | :-- |
| v4.0.11 及之前的 v4.0 版本,v5.0.0-rc | 作为 changefeed 配置项,给 `file` sorter 和 `unified` Sorter 指定临时文件目录 | 在这些版本中,`file` sorter 和 `unified` sorter **均不是**正式功能 (GA),不推荐在生产环境中使用。<br/><br/>如果有多个 changefeed 被配置使用了 `unified` 作为 `sort-engine`,那么实际使用的临时文件目录可能是任何一个 changefeed 的 `sort-dir` 配置,且每个 TiCDC 节点上使用的目录可能不一致。 | 不推荐生产环境使用 Unified Sorter |
TomShawn marked this conversation as resolved.
Show resolved Hide resolved
| v4.0.12,v4.0.13,v5.0.0 及 v5.0.1 | 作为 changefeed 配置项或 `cdc server` 配置项 | 在默认情况下 changefeed 的 `sort-dir` 配置不会生效,而 `cdc server` 的 `sort-dir` 配置默认为 `/tmp/cdc_sort`。建议生产环境下仅配置 `cdc server` 的相关配置。<br /><br />如果你使用 TiUP 部署 TiCDC,建议升级到最新的 TiUP 版本并在 TiCDC server 配置中设置 `sorter.sort-dir` 一项。<br /><br />在 v4.0.13、v5.0.0 和 v5.0.1 中 unified sorter 是默认开启的,如果要将集群升级至这些版本,请确保 TiCDC server 配置中的 `sorter.sort-dir` 已经被正确配置。| 需要通过 cdc server 命令行参数 (或 TiUP) 配置 `sort-dir` |
TomShawn marked this conversation as resolved.
Show resolved Hide resolved
| v5.0.2 及之后的 v5.0 版本,v5.1 | `sort-dir` 被弃用,建议配置 `data-dir` | `data-dir` 可以通过最新版本的 TiUP 进行配置。这些版本中 unified sorter 是默认开启的,升级时请确保 `data-dir` 已经被正确配置,否则将默认使用 `/tmp/cdc_data`。<br /><br />如果该目录所在设备空间不足,有可能出现硬盘空间不足的问题。之前配置的 changefeed 的 `sort-dir` 配置将会失效。| 需要通过 cdc server 命令行参数 (或 TiUP) 配置 `data-dir` |
TomShawn marked this conversation as resolved.
Show resolved Hide resolved