Skip to content

Commit

Permalink
ticdc: remove pulsar (pingcap#11112)
Browse files Browse the repository at this point in the history
  • Loading branch information
Rustin170506 authored Sep 23, 2022
1 parent 4b72655 commit ceb3b50
Show file tree
Hide file tree
Showing 4 changed files with 4 additions and 41 deletions.
2 changes: 1 addition & 1 deletion ecosystem-tool-user-guide.md
Original file line number Diff line number Diff line change
Expand Up @@ -130,7 +130,7 @@ TiUniManager 不仅提供对 TiDB 集群的全生命周期的可视化管理,
基本信息:

- TiCDC 的输入:TiDB 集群
- TiCDC 的输出:TiDB 集群、MySQL、Kafka、Apache Pulsar、Confluent
- TiCDC 的输出:TiDB 集群、MySQL、Kafka、Confluent
- 适用 TiDB 版本:v4.0.6 及以上

### TiDB 增量日志同步 - TiDB Binlog
Expand Down
2 changes: 1 addition & 1 deletion migration-tools.md
Original file line number Diff line number Diff line change
Expand Up @@ -17,7 +17,7 @@ TiDB 提供了丰富的数据迁移相关的工具,用于全量迁移、增量
| [Dumpling](/dumpling-overview.md) | 用于将数据从 MySQL/TiDB 进行全量导出。| MySQL,TiDB| SQL,CSV | 支持全新的 table-filter,筛选数据更加方便;支持导出到 Amazon S3 云盘|如果导出后计划往非 TiDB 的数据库恢复,建议使用 Dumpling;如果是往另一个 TiDB 恢复,建议使用 BR。 |
| [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md)| 用于将数据全量导入到 TiDB。|Dumpling 输出的文件;CSV 文件;从 Hive 或者 Aurora 导出的 Parquet 文件;从本地盘或 Amazon S3 云盘读取数据。 | TiDB | 支持迅速导入大量新数据,实现快速初始化 TiDB 集群的指定表;支持断点续传;支持数据过滤。| 如果使用 Local-backend 进行数据导入,TiDB Lightning 运行后,TiDB 集群将无法正常对外提供服务。如果你不希望 TiDB 集群的对外服务受到影响,可以参考 TiDB Lightning TiDB-backend 中的硬件需求与部署方式进行数据导入。|
|[Backup & Restore (BR)](/br/backup-and-restore-overview.md) |通过对大数据量的 TiDB 集群进行数据备份和恢复,实现数据迁移。 | TiDB| SST;backup.meta 文件;backup.lock 文件|适用于向另一个 TiDB 迁移数据。支持数据冷备份到外部存储,可以用于灾备恢复。 | BR 恢复到 TiCDC / Drainer 的上游集群时,恢复数据无法由 TiCDC / Drainer 同步到下游。BR 只支持在 new_collations_enabled_on_first_bootstrap 开关值相同的集群之间进行操作。|
| [TiCDC](/ticdc/ticdc-overview.md)| 通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具,具有将数据还原到与上游任意 TSO 一致状态的能力,支持其他系统订阅数据变更。|TiDB | TiDB,MySQL,Apache Pulsar,Kafka,Confluent|提供开放数据协议 (TiCDC Open Protocol)。 | TiCDC 只能同步至少存在一个有效索引的表。暂不支持以下场景:暂不支持单独使用 RawKV 的 TiKV 集群。暂不支持在 TiDB 中创建 SEQUENCE 的 DDL 操作和 SEQUENCE 函数。|
| [TiCDC](/ticdc/ticdc-overview.md)| 通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具,具有将数据还原到与上游任意 TSO 一致状态的能力,支持其他系统订阅数据变更。|TiDB | TiDB,MySQL,Kafka,Confluent|提供开放数据协议 (TiCDC Open Protocol)。 | TiCDC 只能同步至少存在一个有效索引的表。暂不支持以下场景:暂不支持单独使用 RawKV 的 TiKV 集群。暂不支持在 TiDB 中创建 SEQUENCE 的 DDL 操作和 SEQUENCE 函数。|
|[TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) | 用于 TiDB 集群间的增量数据同步,如将其中一个 TiDB 集群作为另一个 TiDB 集群的从集群。| TiDB | TiDB,MySQL,Kafka,增量备份文件|支持实时备份和恢复。备份 TiDB 集群数据,同时可以用于 TiDB 集群故障时恢复。 |与部分 TiDB 版本不兼容,不能一起使用。|
|[sync-diff-inspector](/sync-diff-inspector/sync-diff-inspector-overview.md) | 用于校验 MySQL/TiDB 中两份数据的一致性。|TiDB,MySQL | TiDB,MySQL| 提供了修复数据的功能,适用于修复少量不一致的数据。|对于 MySQL 和 TiDB 之间的数据同步不支持在线校验。不支持 JSON、BIT、BINARY、BLOB 等类型的数据。 |

Expand Down
39 changes: 1 addition & 38 deletions ticdc/manage-ticdc.md
Original file line number Diff line number Diff line change
Expand Up @@ -140,7 +140,7 @@ Info: {"sink-uri":"mysql://root:123456@127.0.0.1:3306/","opts":{},"create-time":
```

- `--changefeed-id`:同步任务的 ID,格式需要符合正则表达式 `^[a-zA-Z0-9]+(\-[a-zA-Z0-9]+)*$`。如果不指定该 ID,TiCDC 会自动生成一个 UUID(version 4 格式)作为 ID。
- `--sink-uri`:同步任务下游的地址,需要按照以下格式进行配置,目前 scheme 支持 `mysql`/`tidb`/`kafka`/`pulsar`
- `--sink-uri`:同步任务下游的地址,需要按照以下格式进行配置,目前 scheme 支持 `mysql``tidb``kafka`

{{< copyable "" >}}

Expand Down Expand Up @@ -314,43 +314,6 @@ dispatchers = [
集成具体步骤详见 [TiDB 集成 Confluent Platform 快速上手指南](/ticdc/integrate-confluent-using-ticdc.md)。
#### Sink URI 配置 `pulsar`
> **警告:**
>
> 当前该功能为实验特性,不建议在生产环境中使用。
配置样例如下所示:
{{< copyable "shell-regular" >}}
```shell
--sink-uri="pulsar://127.0.0.1:6650/topic-name?connectionTimeout=2s"
```
URI 中可配置的的参数如下:
| 参数 | 解析 |
| :------------------ | :------------------------------------------------------------ |
| `connectionTimeout` | 连接下游 Pulsar 的超时时间。可选参数,默认值为 30s。 |
| `operationTimeout` | 对下游 Pulsar 进行操作的超时时间(例如创建 topic)。可选参数,默认值为 30s。|
| `tlsTrustCertsFilePath` | 连接下游 Pulsar 实例所需的 CA 证书文件路径(可选) |
| `tlsAllowInsecureConnection` | 在开启 TLS 之后是否允许非加密连接(可选) |
| `tlsValidateHostname` | 是否校验下游 Pulsar 证书中的 host name(可选) |
| `maxConnectionsPerBroker` | 下游单个 Pulsar broker 最多允许的连接数(可选,默认值为 1) |
| `auth.tls` | 使用 TLS 模式认证下游 Pulsar(可选,示例 `auth=tls&auth.tlsCertFile=/path/to/cert&auth.tlsKeyFile=/path/to/key`)|
| `auth.token` | 使用 token 模式认证下游(可选,示例 `auth=token&auth.token=secret-token` 或者 `auth=token&auth.file=path/to/secret-token-file`)|
| `name` | TiCDC 中 Pulsar producer 名字(可选) |
| `protocol` | 输出到 Pulsar 的消息协议,可选值有 `canal-json`、`open-protocol`、`canal`、`avro`、`maxwell` |
| `maxPendingMessages` | Pending 消息队列的最大大小,例如,等待接收来自 Pulsar 的确认的消息(可选,默认值为 1000) |
| `disableBatching` | 禁止自动批量发送消息(可选) |
| `batchingMaxPublishDelay` | 设置发送消息的批处理时间(默认值为 10ms) |
| `compressionType` | 设置发送消息时使用的压缩算法(可选 `NONE`,`LZ4`,`ZLIB` 和 `ZSTD`,默认值为 `NONE`)|
| `hashingScheme` | 用于选择发送分区的哈希算法(可选 `JavaStringHash` 和 `Murmur3`,默认值为 `JavaStringHash`)|
| `properties.*` | 在 TiCDC 中 Pulsar producer 上添加用户定义的属性(可选,示例 `properties.location=Hangzhou`)|
更多关于 Pulsar 的参数解释,参见 [“pulsar-client-go ClientOptions 文档”](https://godoc.org/github.com/apache/pulsar-client-go/pulsar#ClientOptions) 和 [“pulsar-client-go ProducerOptions 文档”](https://godoc.org/github.com/apache/pulsar-client-go/pulsar#ProducerOptions) 。
#### 使用同步任务配置文件
如需设置更多同步任务的配置,比如指定同步单个数据表,请参阅[同步任务配置文件描述](#同步任务配置文件描述)。
Expand Down
2 changes: 1 addition & 1 deletion ticdc/ticdc-faq.md
Original file line number Diff line number Diff line change
Expand Up @@ -119,7 +119,7 @@ cdc cli changefeed create --pd=http://10.0.10.25:2379 --sink-uri="kafka://127.0.
> **注意:**
>
> * 该功能在 TiCDC 4.0.2 版本引入。
> * 目前 TiCDC 仅支持将 Canal 格式的变更数据输出到 MQ 类的 Sink(例如Kafka,Pulsar)。
> * 目前 TiCDC 仅支持将 Canal 格式的变更数据输出到 MQ 类的 Sink(例如 Kafka)。
更多信息请参考[创建同步任务](/ticdc/manage-ticdc.md#创建同步任务)

Expand Down

0 comments on commit ceb3b50

Please sign in to comment.