diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 5063c4e3185a..189bd7de1525 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -130,7 +130,7 @@ TiUniManager 不仅提供对 TiDB 集群的全生命周期的可视化管理， 基本信息： - TiCDC 的输入：TiDB 集群 -- TiCDC 的输出：TiDB 集群、MySQL、Kafka、Apache Pulsar、Confluent +- TiCDC 的输出：TiDB 集群、MySQL、Kafka、Confluent - 适用 TiDB 版本：v4.0.6 及以上 ### TiDB 增量日志同步 - TiDB Binlog diff --git a/migration-tools.md b/migration-tools.md index b2432186428d..48a3f66bb633 100644 --- a/migration-tools.md +++ b/migration-tools.md @@ -17,7 +17,7 @@ TiDB 提供了丰富的数据迁移相关的工具，用于全量迁移、增量 | [Dumpling](/dumpling-overview.md) | 用于将数据从 MySQL/TiDB 进行全量导出。| MySQL，TiDB| SQL，CSV | 支持全新的 table-filter，筛选数据更加方便；支持导出到 Amazon S3 云盘|如果导出后计划往非 TiDB 的数据库恢复，建议使用 Dumpling；如果是往另一个 TiDB 恢复，建议使用 BR。 | | [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md)| 用于将数据全量导入到 TiDB。|Dumpling 输出的文件；CSV 文件；从 Hive 或者 Aurora 导出的 Parquet 文件；从本地盘或 Amazon S3 云盘读取数据。 | TiDB | 支持迅速导入大量新数据，实现快速初始化 TiDB 集群的指定表；支持断点续传；支持数据过滤。| 如果使用 Local-backend 进行数据导入，TiDB Lightning 运行后，TiDB 集群将无法正常对外提供服务。如果你不希望 TiDB 集群的对外服务受到影响，可以参考 TiDB Lightning TiDB-backend 中的硬件需求与部署方式进行数据导入。| |[Backup & Restore (BR)](/br/backup-and-restore-overview.md) |通过对大数据量的 TiDB 集群进行数据备份和恢复，实现数据迁移。 | TiDB| SST；backup.meta 文件；backup.lock 文件|适用于向另一个 TiDB 迁移数据。支持数据冷备份到外部存储，可以用于灾备恢复。 | BR 恢复到 TiCDC / Drainer 的上游集群时，恢复数据无法由 TiCDC / Drainer 同步到下游。BR 只支持在 new_collations_enabled_on_first_bootstrap 开关值相同的集群之间进行操作。| -| [TiCDC](/ticdc/ticdc-overview.md)| 通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具，具有将数据还原到与上游任意 TSO 一致状态的能力，支持其他系统订阅数据变更。|TiDB | TiDB，MySQL，Apache Pulsar，Kafka，Confluent|提供开放数据协议 (TiCDC Open Protocol)。 | TiCDC 只能同步至少存在一个有效索引的表。暂不支持以下场景：暂不支持单独使用 RawKV 的 TiKV 集群。暂不支持在 TiDB 中创建 SEQUENCE 的 DDL 操作和 SEQUENCE 函数。| +| [TiCDC](/ticdc/ticdc-overview.md)| 通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具，具有将数据还原到与上游任意 TSO 一致状态的能力，支持其他系统订阅数据变更。|TiDB | TiDB，MySQL，Kafka，Confluent|提供开放数据协议 (TiCDC Open Protocol)。 | TiCDC 只能同步至少存在一个有效索引的表。暂不支持以下场景：暂不支持单独使用 RawKV 的 TiKV 集群。暂不支持在 TiDB 中创建 SEQUENCE 的 DDL 操作和 SEQUENCE 函数。| |[TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) | 用于 TiDB 集群间的增量数据同步，如将其中一个 TiDB 集群作为另一个 TiDB 集群的从集群。| TiDB | TiDB，MySQL，Kafka，增量备份文件|支持实时备份和恢复。备份 TiDB 集群数据，同时可以用于 TiDB 集群故障时恢复。 |与部分 TiDB 版本不兼容，不能一起使用。| |[sync-diff-inspector](/sync-diff-inspector/sync-diff-inspector-overview.md) | 用于校验 MySQL/TiDB 中两份数据的一致性。|TiDB，MySQL | TiDB，MySQL| 提供了修复数据的功能，适用于修复少量不一致的数据。|对于 MySQL 和 TiDB 之间的数据同步不支持在线校验。不支持 JSON、BIT、BINARY、BLOB 等类型的数据。 | diff --git a/ticdc/manage-ticdc.md b/ticdc/manage-ticdc.md index 2644e48faf4f..cea1490af4e9 100644 --- a/ticdc/manage-ticdc.md +++ b/ticdc/manage-ticdc.md @@ -140,7 +140,7 @@ Info: {"sink-uri":"mysql://root:123456@127.0.0.1:3306/","opts":{},"create-time": ``` - `--changefeed-id`：同步任务的 ID，格式需要符合正则表达式 `^[a-zA-Z0-9]+(\-[a-zA-Z0-9]+)*$`。如果不指定该 ID，TiCDC 会自动生成一个 UUID（version 4 格式）作为 ID。 -- `--sink-uri`：同步任务下游的地址，需要按照以下格式进行配置，目前 scheme 支持 `mysql`/`tidb`/`kafka`/`pulsar`。 +- `--sink-uri`：同步任务下游的地址，需要按照以下格式进行配置，目前 scheme 支持 `mysql`、`tidb` 和 `kafka`。 {{< copyable "" >}} @@ -314,43 +314,6 @@ dispatchers = [ 集成具体步骤详见 [TiDB 集成 Confluent Platform 快速上手指南](/ticdc/integrate-confluent-using-ticdc.md)。 -#### Sink URI 配置 `pulsar` - -> **警告：** -> -> 当前该功能为实验特性，不建议在生产环境中使用。 - -配置样例如下所示： - -{{< copyable "shell-regular" >}} - -```shell ---sink-uri="pulsar://127.0.0.1:6650/topic-name?connectionTimeout=2s" -``` - -URI 中可配置的的参数如下： - -| 参数 | 解析 | -| :------------------ | :------------------------------------------------------------ | -| `connectionTimeout` | 连接下游 Pulsar 的超时时间。可选参数，默认值为 30s。 | -| `operationTimeout` | 对下游 Pulsar 进行操作的超时时间（例如创建 topic）。可选参数，默认值为 30s。| -| `tlsTrustCertsFilePath` | 连接下游 Pulsar 实例所需的 CA 证书文件路径（可选） | -| `tlsAllowInsecureConnection` | 在开启 TLS 之后是否允许非加密连接（可选） | -| `tlsValidateHostname` | 是否校验下游 Pulsar 证书中的 host name（可选） | -| `maxConnectionsPerBroker` | 下游单个 Pulsar broker 最多允许的连接数（可选，默认值为 1） | -| `auth.tls` | 使用 TLS 模式认证下游 Pulsar（可选，示例 `auth=tls&auth.tlsCertFile=/path/to/cert&auth.tlsKeyFile=/path/to/key`）| -| `auth.token` | 使用 token 模式认证下游（可选，示例 `auth=token&auth.token=secret-token` 或者 `auth=token&auth.file=path/to/secret-token-file`）| -| `name` | TiCDC 中 Pulsar producer 名字（可选） | -| `protocol` | 输出到 Pulsar 的消息协议，可选值有 `canal-json`、`open-protocol`、`canal`、`avro`、`maxwell` | -| `maxPendingMessages` | Pending 消息队列的最大大小，例如，等待接收来自 Pulsar 的确认的消息（可选，默认值为 1000） | -| `disableBatching` | 禁止自动批量发送消息（可选） | -| `batchingMaxPublishDelay` | 设置发送消息的批处理时间（默认值为 10ms） | -| `compressionType` | 设置发送消息时使用的压缩算法（可选 `NONE`，`LZ4`，`ZLIB` 和 `ZSTD`，默认值为 `NONE`）| -| `hashingScheme` | 用于选择发送分区的哈希算法（可选 `JavaStringHash` 和 `Murmur3`，默认值为 `JavaStringHash`）| -| `properties.*` | 在 TiCDC 中 Pulsar producer 上添加用户定义的属性（可选，示例 `properties.location=Hangzhou`）| - -更多关于 Pulsar 的参数解释，参见 [“pulsar-client-go ClientOptions 文档”](https://godoc.org/github.com/apache/pulsar-client-go/pulsar#ClientOptions) 和 [“pulsar-client-go ProducerOptions 文档”](https://godoc.org/github.com/apache/pulsar-client-go/pulsar#ProducerOptions) 。 - #### 使用同步任务配置文件 如需设置更多同步任务的配置，比如指定同步单个数据表，请参阅[同步任务配置文件描述](#同步任务配置文件描述)。 diff --git a/ticdc/ticdc-faq.md b/ticdc/ticdc-faq.md index ab28f3307a67..9cb39f5ac0ca 100644 --- a/ticdc/ticdc-faq.md +++ b/ticdc/ticdc-faq.md @@ -119,7 +119,7 @@ cdc cli changefeed create --pd=http://10.0.10.25:2379 --sink-uri="kafka://127.0. > **注意：** > > * 该功能在 TiCDC 4.0.2 版本引入。 -> * 目前 TiCDC 仅支持将 Canal 格式的变更数据输出到 MQ 类的 Sink（例如：Kafka，Pulsar）。 +> * 目前 TiCDC 仅支持将 Canal 格式的变更数据输出到 MQ 类的 Sink（例如 Kafka）。 更多信息请参考[创建同步任务](/ticdc/manage-ticdc.md#创建同步任务)。