Skip to content

Commit

Permalink
[Document-793][doc] optimization some docs (DataLinkDC#793)
Browse files Browse the repository at this point in the history
* optimization docs

* Optimize job_import_export
  • Loading branch information
Zzm0809 authored Jul 28, 2022
1 parent 9e87c60 commit 9d09d2a
Show file tree
Hide file tree
Showing 10 changed files with 205 additions and 131 deletions.
Original file line number Diff line number Diff line change
Expand Up @@ -17,7 +17,7 @@ title: 运维中心概述
| 作业实例 | 查看及修改 FlinkSQL 的作业实例状态 |
| 作业总览 | 查看 FlinkSQL 各监控指标 |
| 集群信息 | 查看 FlinkSQL 的集群实例信息 |
| 作业快照 | |
| 作业快照 | 查看 该任务的 CheckPoint SavePoint <br/>并且可以基于某一个 CheckPoint/SavePoint 重启该任务 |
| 异常信息 | 查看 FlinkSQL 启动及运行时的异常 |
| 作业日志 | 完整的 FlinkSQL 日志 |
| 自动调优 | - |
Expand Down
40 changes: 38 additions & 2 deletions docs/docs/administrator_guide/register_center/datasource_manage.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,12 +3,12 @@ position: 2
id: datasource_manage
title: 数据源管理
---


## 数据源管理列表

![database_manager_list](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/datasource_manage/database_manager_list.png)

## 创建数据源

当用户使用 Dinky 做为数据开发工具时,用户首先需要进入 **注册中心 > 数据源管理**,点击 **新建** 即可。

![create_database_jdbc](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/datasource_manage/create_database_jdbc.png)
Expand All @@ -35,5 +35,41 @@ title: 数据源管理

**是否启用:** 默认禁用,需要开启

Flink 连接配置 && Flink 连接模板 配置Demo: (以上图创建的`本地`数据源为例)

```sql
,第一种方式:
-- Flink 连接配置: (可以放入公共参数,及其敏感信息参数)
'hostname' = 'localhost'
,'port' = '3306'
,'username' = 'root'
,'password' = '123456'
,'server-time-zone' = 'UTC'

-- Flink 连接模板:
'connector' = 'mysql-cdc'
,'hostname' = 'localhost'
,'port' = '3306'
,'username' = 'root'
,'password' = '123456'
,'server-time-zone' = 'UTC'
,'scan.incremental.snapshot.enabled' = 'true'
,'debezium.snapshot.mode'='latest-offset'
,'database-name' = '${schemaName}'
,'table-name' = '${tableName}'

第二种方式:
-- Flink 连接配置: 同第一种方式的连接配置

-- Flink 连接模板: 注意引用变量的前后逗号,使用此方式作业右侧必须开启全局变量
'connector' = 'mysql-cdc'
,${本地}
,'scan.incremental.snapshot.enabled' = 'true'
,'debezium.snapshot.mode'='latest-offset'
,'database-name' = '${schemaName}'
,'table-name' = '${tableName}'

以上配置完成后可在 数据开发->左侧点击 元数据->选中当前创建的数据源 -> 展开库 -> 右键单击 表名 -> 点击 SQL生成 -> 查看FlinkDDL 即可看到成果
```

当前数据库统一使用如上定义的参数名称配置数据源连接。当前支持的数据源详见 [扩展数据源](../../extend/function_expansion/datasource)
61 changes: 26 additions & 35 deletions docs/docs/administrator_guide/register_center/warning.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,10 +3,6 @@ position: 5
id: warning
title: 报警管理
---




如何创建报警实例及报警组,在0.6版本以后,用户可以创建报警实例及报警组,监控 FlinkSQL 作业。一个报警组可以使用多个报警实例,用户就可以进一步收到报警通知。收到的报警通知如下:

- unknown
Expand All @@ -17,9 +13,10 @@ title: 报警管理
首先要进入**注册中心** > **报警管理**,然后选择左侧的报警实例管理,创建一个告警实例。然后选择对应的报警插件。然后选择报警组管理,创建一个报警组。

目前Dinky支持的报警插件有:

- **[钉钉](#钉钉)告警 :** WebHook
- **[企业微信](#企业微信)告警 :** 包含 **应用** **群聊**
- **[飞书](#飞书)告警 :** WebHook
- **[飞书](#飞书)告警 :** WebHook
- **[邮箱](#邮箱)告警 :** 通过邮件发送报警通知

## 报警实例管理
Expand All @@ -36,19 +33,16 @@ title: 报警管理

![alert_instance_list](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/warning/alert_instance_list.png)



报警实例信息相关字段含义如下:

| 字段 | 说明 |
| :----------: | :-----------------------------------------: |
| 名称 | 名称唯一 |
| 类型 | WeChat<br/> DingTalk<br/> FeiShu<br/> Email |
| 是否启用 | 已启用<br/> 已禁用 |
| 最近更新时间 | 报警的修改时间 |
| 操作 | 对报警实例修改、删除 |


| 字段 | 说明 |
| :------------: | :-------------------------------------------: |
| 名称 | 名称唯一 |
| 类型 | WeChat<br/> DingTalk<br/> FeiShu<br/> Email |
| 是否启用 | 已启用<br/> 已禁用 |
| 最近更新时间 | 报警的修改时间 |
| 操作 | 对报警实例修改、删除 |

## 报警组管理

Expand All @@ -64,8 +58,9 @@ title: 报警管理

报警组信息相关字段含义如下:


| 字段 | 说明 |
| :----------: | :------------------: |
| :------------: | :--------------------: |
| 名称 | 名称唯一 |
| 是否启用 | 已启用<br/> 已禁用 |
| 最近更新时间 | 报警的修改时间 |
Expand All @@ -86,7 +81,8 @@ title: 报警管理
- **关键字:** 安全设置的自定义关键词,钉钉关键字和 Dinky 中的关键字保持一致即可;
- **密令:** 安全设置的加签;
- **开启代理:** 默认否(一般默认)
- **@所有人:** 默认禁用,需要开启;
- **@所有人:** 默认禁用;
- **@手机号:** 当@所有人禁用时 可以使用手机号 使用钉钉注册的手机号 多个用逗号隔开
- **是否启用:** 默认禁用,需要开启;
- **展示方式类型:** 支持 MarkDown 和文本;

Expand All @@ -108,7 +104,6 @@ title: 报警管理
- **企业id:** 询问企业微信管理员即可;
- **密令:** 安全设置的加签;
- **用户:** 企业微信联系人中可添加;
- **发送消息:** 接口中定义的msg,如{"touser":"{toUser}","agentid":{agentId}","msgtype":"{showType}","{showType}":{"content":"{msg}"}}
- **代理ID:**询问企业微信管理员即可;
- **发送方式:** 应用;
- **展示方式类型:** 支持 MarkDown 和文本;
Expand All @@ -126,7 +121,8 @@ title: 报警管理
- **关键字:** 作为发送信息的title 标记;
- **用户:** 企业微信联系人中可添加;
- **@所有人:** 默认禁用,如果@所有人需要开启;
- **被@用户:**企业微信用户名全拼;
- **被@用户:** 企业微信用户名全拼;
- **展示方式类型:** 支持 MarkDown 和文本;
- **是否启用:** 默认禁用,需要开启;

**说明:** @所有人与被@用户可相互切换
Expand All @@ -136,13 +132,11 @@ title: 报警管理
[应用-开发者文档](https://work.weixin.qq.com/api/doc/90000/90135/90236)
[群聊-开发者文档](https://work.weixin.qq.com/api/doc/90000/90135/90248)

发送消息对应文档中的 content,与此相对应的值的变量为 {msg}

### 飞书

如果用户使用飞书进行报警,请进入**注册中心** > **报警管理** > **报警实例管理**,点击**新建** 选择**飞书**报警实例。


![create_feishu_alert](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/warning/create_feishu_alert.png)

**参数配置:**
Expand All @@ -164,7 +158,6 @@ title: 报警管理

如果用户使用邮箱进行报警,请进入**注册中心** > **报警管理** > **报警实例管理**,点击**新建** 选择**邮箱**报警实例。


![create_email_alert](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/warning/create_email_alert.png)

**参数配置:**
Expand All @@ -176,30 +169,28 @@ title: 报警管理
- **邮件服务器Host:** 邮件服务器主机;
- **邮件服务器Port:** 邮件服务器端口;
- **发送者sender昵称:** 发送者到目标邮箱的显示昵称;
- **是否开启邮箱验证:**
- **是否开启邮箱验证:**
-
- **邮箱用户名:** 邮箱;
- **邮箱密码:** 邮箱密码;
- **邮箱用户名:** 邮箱;
- **邮箱密码:** 邮箱密码;
-
- 表单无显示
- **是否开启tls证书验证:** 是/否;
- **是否开启SSL验证:**
-
- **受信任域:** 自行设置 可设置为*
-
- 表单无显示
-
- **受信任域:** 自行设置 可设置为*
-
- 表单无显示
- **是否启用:** 默认禁用,需要开启;
- **展示方式类型:**
- **展示方式类型:**
- 支持文本 表格 附件 附件+表格;
- PS: 需要注意的是 当选择 附件 || 附件+表格 时:
- **XLS存放目录:** 非必填 默认路径为: /tmp/xls



:::warning 注意事项

报警管理只适用于 FlinkSQL
报警管理只适用于 FlinkSQL

报警管理只支持异步提交和发布
报警管理只支持异步提交和发布

:::
:::
61 changes: 34 additions & 27 deletions docs/docs/administrator_guide/studio/job_import_export.md
Original file line number Diff line number Diff line change
Expand Up @@ -8,40 +8,47 @@ title: 作业导入导出

## 介绍

Dinky 目前支持作业的导入和导出,当前仅支持单个作业的导出和导入。导入和导出的作业为JSON文件。
Dinky 目前支持作业的导入和导出。导入和导出的作业为JSON文件。

导出作业,导出开发时的最新的已保存内容
导出作业时需要确保任务已保存,以保证导出的为最新的内容。

导入作业,会覆盖开发时的内容
### 单任务导出

- **方式1:** 选中某一个作业 点击左上角导出按钮 导出为 json 文件
- **方式2:** 选中某一个作业 右键单击 `导出 json`

### 多任务导出

- 选中多个任务 点击左上角导出按钮 导出为json文件 , 注意:多个任务导出的仍为一个文件,文件内以JSON数组存储

## 说明

Dinky 导出作业,导出的内容信息包括 statement语法、作业名称、作业配置信息等。具体的作业参数如下:
Dinky 导出作业,导出的内容信息包括 statement 语法、作业名称、作业配置信息等。具体的作业参数如下:

| 参数 | 解释说明 |
| :----------------------: | :----------------------------------------------------------: |
| name | 作业名称 |
| alias | 作业别名 |
| dialect | 数据库方言,如 FlinkSQL、Doris |
| 参数 | 解释说明 |
| :----------------------: |:-----------------------------------------------------------:|
| name | 作业名称 |
| alias | 作业别名 |
| dialect | 数据库方言,如 FlinkSQL、Doris |
| type | 如果dialect是FlinkSQL,则为执行模式,StandAlone等<br/> 如果是其他数据库,则为null |
| statement | SQL 语法 |
| checkPoint | 默认是0 |
| savePointStrategy | FlinkSQL作业savePoint的策略 |
| savePointPath | FlinkSQL作业savePoint的存储路径 |
| parallelism | 作业并行度 |
| fragment | 作业全局变量,默认禁用 |
| statementSet | Insert语句集,默认禁用 |
| batchModel | 如果FlinkSQL 批作业,默认是true |
| clusterName | Flink 集群名称 |
| configJson | |
| note | |
| step | |
| enabled | |
| path | 作业路径 |
| databaseName | 数据库schema名称,FlinkSQL显示null |
| clusterConfigurationName | FlinkSQL作业的Flink集群配置名称 |
| envName | FlinkSQL作业的FlinkSQLEnv环境 |
| alertGroupName | FlinkSQL作业的告警组名称 |
| statement | SQL 内容 |
| checkPoint | checkPoint时间 ; 默认是0 |
| savePointStrategy | FlinkSQL作业savePoint的策略 |
| savePointPath | FlinkSQL作业savePoint的存储路径 |
| parallelism | 作业并行度 |
| fragment | 作业全局变量,默认禁用 |
| statementSet | Insert语句集,默认禁用 |
| batchModel | 如果FlinkSQL 批作业,默认是true |
| clusterName | Flink 集群名称 |
| configJson | 配置项 |
| note | 作业备注/描述 |
| step | 作业当前的生命周期 |
| enabled | 是否启用 |
| path | 作业路径 |
| databaseName | 数据库schema名称,FlinkSQL显示null |
| clusterConfigurationName | FlinkSQL作业的Flink集群配置名称 |
| envName | FlinkSQL作业的FlinkSQLEnv环境 |
| alertGroupName | FlinkSQL作业的告警组名称 |



2 changes: 1 addition & 1 deletion docs/docs/plans.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,6 +6,6 @@ title: 近期计划
* [ ] 多租户及命名空间
* [ ] 统一元数据管理
* [ ] 全局血缘与影响分析
* [ ] Flink 元数据持久化
* [X] Flink 元数据持久化
* [ ] 多版本 Flink-Client Server
* [X] 整库千表同步
6 changes: 6 additions & 0 deletions docs/download/dinky-0.6.6.md
Original file line number Diff line number Diff line change
Expand Up @@ -14,6 +14,12 @@ title: 0.6.6 release

Dinky 0.6.6 是一个优化修复的版本。

:::warning 注意
此版本有表结构变更 <br/>
需要执行 **sql/dlinkmysqlcatalog.sql** 文件
:::


### 新功能

- 新增 DevOps 的作业历史版本列表
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -17,7 +17,7 @@ title: 运维中心概述
| 作业实例 | 查看及修改 FlinkSQL 的作业实例状态 |
| 作业总览 | 查看 FlinkSQL 各监控指标 |
| 集群信息 | 查看 FlinkSQL 的集群实例信息 |
| 作业快照 | |
| 作业快照 | 查看 该任务的 CheckPoint SavePoint <br/>并且可以基于某一个 CheckPoint/SavePoint 重启该任务 |
| 异常信息 | 查看 FlinkSQL 启动及运行时的异常 |
| 作业日志 | 完整的 FlinkSQL 日志 |
| 自动调优 | - |
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -3,12 +3,12 @@ position: 2
id: datasource_manage
title: 数据源管理
---


## 数据源管理列表

![database_manager_list](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/datasource_manage/database_manager_list.png)

## 创建数据源

当用户使用 Dinky 做为数据开发工具时,用户首先需要进入 **注册中心 > 数据源管理**,点击 **新建** 即可。

![create_database_jdbc](http://www.aiwenmo.com/dinky/docs/zh-CN/administrator_guide/register_center/datasource_manage/create_database_jdbc.png)
Expand All @@ -35,5 +35,41 @@ title: 数据源管理

**是否启用:** 默认禁用,需要开启

Flink 连接配置 && Flink 连接模板 配置Demo: (以上图创建的`本地`数据源为例)

```sql
,第一种方式:
-- Flink 连接配置: (可以放入公共参数,及其敏感信息参数)
'hostname' = 'localhost'
,'port' = '3306'
,'username' = 'root'
,'password' = '123456'
,'server-time-zone' = 'UTC'

-- Flink 连接模板:
'connector' = 'mysql-cdc'
,'hostname' = 'localhost'
,'port' = '3306'
,'username' = 'root'
,'password' = '123456'
,'server-time-zone' = 'UTC'
,'scan.incremental.snapshot.enabled' = 'true'
,'debezium.snapshot.mode'='latest-offset'
,'database-name' = '${schemaName}'
,'table-name' = '${tableName}'

第二种方式:
-- Flink 连接配置: 同第一种方式的连接配置

-- Flink 连接模板: 注意引用变量的前后逗号,使用此方式作业右侧必须开启全局变量
'connector' = 'mysql-cdc'
,${本地}
,'scan.incremental.snapshot.enabled' = 'true'
,'debezium.snapshot.mode'='latest-offset'
,'database-name' = '${schemaName}'
,'table-name' = '${tableName}'

以上配置完成后可在 数据开发->左侧点击 元数据->选中当前创建的数据源 -> 展开库 -> 右键单击 表名 -> 点击 SQL生成 -> 查看FlinkDDL 即可看到成果
```

当前数据库统一使用如上定义的参数名称配置数据源连接。当前支持的数据源详见 [扩展数据源](../../extend/function_expansion/datasource)
Loading

0 comments on commit 9d09d2a

Please sign in to comment.