Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

ticdc: remove pulsar #11112

Merged
merged 4 commits into from
Sep 23, 2022
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion ecosystem-tool-user-guide.md
Original file line number Diff line number Diff line change
Expand Up @@ -129,7 +129,7 @@ TiUniManager 不仅提供对 TiDB 集群的全生命周期的可视化管理,
基本信息:

- TiCDC 的输入:TiDB 集群
- TiCDC 的输出:TiDB 集群、MySQL、Kafka、Apache Pulsar、Confluent
- TiCDC 的输出:TiDB 集群、MySQL、Kafka、Confluent
- 适用 TiDB 版本:v4.0.6 及以上

### TiDB 增量日志同步 - TiDB Binlog
Expand Down
2 changes: 1 addition & 1 deletion migration-tools.md
Original file line number Diff line number Diff line change
Expand Up @@ -17,7 +17,7 @@ TiDB 提供了丰富的数据迁移相关的工具,用于全量迁移、增量
| [Dumpling](/dumpling-overview.md) | 用于将数据从 MySQL/TiDB 进行全量导出。| MySQL,TiDB| SQL,CSV | 支持全新的 table-filter,筛选数据更加方便;支持导出到 Amazon S3 云盘|如果导出后计划往非 TiDB 的数据库恢复,建议使用 Dumpling;如果是往另一个 TiDB 恢复,建议使用 BR。 |
| [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md)| 用于将数据全量导入到 TiDB。|Dumpling 输出的文件;CSV 文件;从本地盘或 Amazon S3 云盘读取数据。 | TiDB | 支持迅速导入大量新数据,实现快速初始化 TiDB 集群的指定表;支持断点续传;支持数据过滤。| 如果使用 Local-backend 进行数据导入,TiDB Lightning 运行后,TiDB 集群将无法正常对外提供服务。如果你不希望 TiDB 集群的对外服务受到影响,可以参考 TiDB Lightning TiDB-backend 中的硬件需求与部署方式进行数据导入。|
|[Backup & Restore (BR)](/br/backup-and-restore-overview.md) |通过对大数据量的 TiDB 集群进行数据备份和恢复,实现数据迁移。 | TiDB| SST;backup.meta 文件;backup.lock 文件|适用于向另一个 TiDB 迁移数据。支持数据冷备份到外部存储,可以用于灾备恢复。 | BR 恢复到 TiCDC / Drainer 的上游集群时,恢复数据无法由 TiCDC / Drainer 同步到下游。BR 只支持在 new_collations_enabled_on_first_bootstrap 开关值相同的集群之间进行操作。|
| [TiCDC](/ticdc/ticdc-overview.md)| 通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具,具有将数据还原到与上游任意 TSO 一致状态的能力,支持其他系统订阅数据变更。|TiDB | TiDB,MySQL,Apache Pulsar,Kafka,Confluent|提供开放数据协议 (TiCDC Open Protocol)。 | TiCDC 只能同步至少存在一个有效索引的表。暂不支持以下场景:暂不支持单独使用 RawKV 的 TiKV 集群。暂不支持在 TiDB 中创建 SEQUENCE 的 DDL 操作和 SEQUENCE 函数。|
| [TiCDC](/ticdc/ticdc-overview.md)| 通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具,具有将数据还原到与上游任意 TSO 一致状态的能力,支持其他系统订阅数据变更。|TiDB | TiDB,MySQL,Kafka,Confluent|提供开放数据协议 (TiCDC Open Protocol)。 | TiCDC 只能同步至少存在一个有效索引的表。暂不支持以下场景:暂不支持单独使用 RawKV 的 TiKV 集群。暂不支持在 TiDB 中创建 SEQUENCE 的 DDL 操作和 SEQUENCE 函数。|
|[TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) | 用于 TiDB 集群间的增量数据同步,如将其中一个 TiDB 集群作为另一个 TiDB 集群的从集群。| TiDB | TiDB,MySQL,Kafka,增量备份文件|支持实时备份和恢复。备份 TiDB 集群数据,同时可以用于 TiDB 集群故障时恢复。 |与部分 TiDB 版本不兼容,不能一起使用。|
|[sync-diff-inspector](/sync-diff-inspector/sync-diff-inspector-overview.md) | 用于校验 MySQL/TiDB 中两份数据的一致性。|TiDB,MySQL | TiDB,MySQL| 提供了修复数据的功能,适用于修复少量不一致的数据。|对于 MySQL 和 TiDB 之间的数据同步不支持在线校验。不支持 JSON、BIT、BINARY、BLOB 等类型的数据。 |

Expand Down
39 changes: 1 addition & 38 deletions ticdc/manage-ticdc.md
Original file line number Diff line number Diff line change
Expand Up @@ -140,7 +140,7 @@ Info: {"sink-uri":"mysql://root:123456@127.0.0.1:3306/","opts":{},"create-time":
```

- `--changefeed-id`:同步任务的 ID,格式需要符合正则表达式 `^[a-zA-Z0-9]+(\-[a-zA-Z0-9]+)*$`。如果不指定该 ID,TiCDC 会自动生成一个 UUID(version 4 格式)作为 ID。
- `--sink-uri`:同步任务下游的地址,需要按照以下格式进行配置,目前 scheme 支持 `mysql`/`tidb`/`kafka`/`pulsar`。
- `--sink-uri`:同步任务下游的地址,需要按照以下格式进行配置,目前 scheme 支持 `mysql``tidb``kafka`。
Rustin170506 marked this conversation as resolved.
Show resolved Hide resolved

{{< copyable "" >}}

Expand Down Expand Up @@ -313,43 +313,6 @@ dispatchers = [

集成具体步骤详见 [TiDB 集成 Confluent Platform 快速上手指南](/ticdc/integrate-confluent-using-ticdc.md)。

#### Sink URI 配置 `pulsar`

> **警告:**
>
> 当前该功能为实验特性,不建议在生产环境中使用。

配置样例如下所示:

{{< copyable "shell-regular" >}}

```shell
--sink-uri="pulsar://127.0.0.1:6650/topic-name?connectionTimeout=2s"
```

URI 中可配置的的参数如下:

| 参数 | 解析 |
| :------------------ | :------------------------------------------------------------ |
| `connectionTimeout` | 连接下游 Pulsar 的超时时间。可选参数,默认值为 30s。 |
| `operationTimeout` | 对下游 Pulsar 进行操作的超时时间(例如创建 topic)。可选参数,默认值为 30s。|
| `tlsTrustCertsFilePath` | 连接下游 Pulsar 实例所需的 CA 证书文件路径(可选) |
| `tlsAllowInsecureConnection` | 在开启 TLS 之后是否允许非加密连接(可选) |
| `tlsValidateHostname` | 是否校验下游 Pulsar 证书中的 host name(可选) |
| `maxConnectionsPerBroker` | 下游单个 Pulsar broker 最多允许的连接数(可选,默认值为 1) |
| `auth.tls` | 使用 TLS 模式认证下游 Pulsar(可选,示例 `auth=tls&auth.tlsCertFile=/path/to/cert&auth.tlsKeyFile=/path/to/key`)|
| `auth.token` | 使用 token 模式认证下游(可选,示例 `auth=token&auth.token=secret-token` 或者 `auth=token&auth.file=path/to/secret-token-file`)|
| `name` | TiCDC 中 Pulsar producer 名字(可选) |
| `protocol` | 输出到 Pulsar 的消息协议,可选值有 `canal-json`、`open-protocol`、`canal`、`avro`、`maxwell` |
| `maxPendingMessages` | Pending 消息队列的最大大小,例如,等待接收来自 Pulsar 的确认的消息(可选,默认值为 1000) |
| `disableBatching` | 禁止自动批量发送消息(可选) |
| `batchingMaxPublishDelay` | 设置发送消息的批处理时间(默认值为 10ms) |
| `compressionType` | 设置发送消息时使用的压缩算法(可选 `NONE`,`LZ4`,`ZLIB` 和 `ZSTD`,默认值为 `NONE`)|
| `hashingScheme` | 用于选择发送分区的哈希算法(可选 `JavaStringHash` 和 `Murmur3`,默认值为 `JavaStringHash`)|
| `properties.*` | 在 TiCDC 中 Pulsar producer 上添加用户定义的属性(可选,示例 `properties.location=Hangzhou`)|

更多关于 Pulsar 的参数解释,参见 [“pulsar-client-go ClientOptions 文档”](https://godoc.org/github.com/apache/pulsar-client-go/pulsar#ClientOptions) 和 [“pulsar-client-go ProducerOptions 文档”](https://godoc.org/github.com/apache/pulsar-client-go/pulsar#ProducerOptions) 。

#### 使用同步任务配置文件

如需设置更多同步任务的配置,比如指定同步单个数据表,请参阅[同步任务配置文件描述](#同步任务配置文件描述)。
Expand Down
2 changes: 1 addition & 1 deletion ticdc/ticdc-faq.md
Original file line number Diff line number Diff line change
Expand Up @@ -119,7 +119,7 @@ cdc cli changefeed create --pd=http://10.0.10.25:2379 --sink-uri="kafka://127.0.
> **注意:**
>
> * 该功能在 TiCDC 4.0.2 版本引入。
> * 目前 TiCDC 仅支持将 Canal 格式的变更数据输出到 MQ 类的 Sink(例如Kafka,Pulsar)。
> * 目前 TiCDC 仅支持将 Canal 格式的变更数据输出到 MQ 类的 Sink(例如 Kafka)。

更多信息请参考[创建同步任务](/ticdc/manage-ticdc.md#创建同步任务)。

Expand Down