Skip to content

Commit

Permalink
[Document-835][doc] Update the home page and basic information of the…
Browse files Browse the repository at this point in the history
… document (DataLinkDC#836)

Co-authored-by: wenmo <32723967+wenmo@users.noreply.github.com>
  • Loading branch information
aiwenmo and aiwenmo authored Aug 7, 2022
1 parent eb0dec6 commit 8cc9573
Show file tree
Hide file tree
Showing 7 changed files with 307 additions and 266 deletions.
8 changes: 4 additions & 4 deletions docs/docs/concept_architecture/concept.md
Original file line number Diff line number Diff line change
Expand Up @@ -10,15 +10,15 @@ JobManager 作为 Dinky 的作业管理的统一入口,负责 Flink 的各种

**Executor**

Executor 是 Dinky 定制的 FlinkSQL 执行器,来模拟真实的 Flink 执行环境,负责 FlinkSQL 的 Catalog 管理、UDF管理、片段管理、配置管理、语句集管理、语法校验、逻辑验证、计划优化、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。
Executor 是 Dinky 定制的 FlinkSQL 执行器,来模拟真实的 Flink 执行环境,负责 FlinkSQL 的 Catalog 管理、UDF管理、全局变量管理、配置管理、语句集管理、语法校验、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。

**Interceptor**

Interceptor 是 Dinky 的 Flink 执行拦截器,负责对其进行片段解析、UDF注册、SET 和 AGGTABLE 等增强语法解析。
Interceptor 是 Dinky 的 Flink 执行拦截器,负责对其进行变量解析、UDF注册、整库同步、SET 和 AGGTABLE 等增强语法解析。

**Gateway**

Gateway 并非是开源项目 flink-sql-gateway,而是 Dinky 自己定制的 Gateway,负责进行基于 Yarn 环境的任务提交与管理,主要有Yarn-Per-Job 和 Yarn-Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试,而 User Jar 目前只开放了 Yarn-Application 的提交。
Gateway Dinky 自己定制的 Gateway,负责进行基于 Yarn 与 K8S 环境的任务提交与管理,主要有 Yarn Per-Job 和 Yarn/K8S Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试,而 User Jar 目前只开放了 Yarn-Application 的提交。

**Flink SDK**

Expand All @@ -30,7 +30,7 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。

**Flink API**

Dinky 也支持通过调用 JobManager 的 RestAPI 对任务进行管理等操作,系统配置可以控制开启和停用。
Dinky 也支持通过调用 Flink JobManager 的 RestAPI 对任务进行管理等操作,系统配置可以控制开启和停用。

**Local**

Expand Down
239 changes: 128 additions & 111 deletions docs/docs/feature.md

Large diffs are not rendered by default.

33 changes: 19 additions & 14 deletions docs/docs/intro.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,9 +5,9 @@ title: Dinky 简介

## 介绍

实时即未来,Dlink 为 Apache Flink 而生,让 Flink SQL 纵享丝滑,并致力于实时计算平台建设。
实时即未来,Dinky 为 Apache Flink 而生,让 Flink SQL 纵享丝滑,并致力于实时计算平台建设。

Dinky 基于 Apache Flink 实现 Dlink ,增强 Flink 的应用与体验,探索流式数仓。即站在巨人肩膀上创新与实践,Dinky 在未来批流一体的发展趋势下潜力无限。
Dinky 基于 Apache Flink 进行扩展 ,增强 Flink 的应用与体验,探索流式数仓。即站在巨人肩膀上创新与实践,Dinky 在未来批流一体的发展趋势下潜力无限。

最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。

Expand All @@ -26,17 +26,22 @@ Dinky(原 Dlink):

其主要目标如下:

- 可视化交互式 FlinkSQL 和 SQL 的数据开发平台:自动提示补全、语法高亮、调试执行、语法校验、语句美化、全局变量等
- 支持全面的多版本的 FlinkSQL 作业提交方式:Local、Standalone、Yarn Session、Yarn Per-Job、Yarn Application、Kubernetes Session、Kubernetes Application
- 支持 Apache Flink 所有的 Connector、UDF、CDC等
- 支持 FlinkSQL 语法增强:兼容 Apache Flink SQL、表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等
- 支持易扩展的 SQL 作业提交方式:ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
- 支持实时调试预览 Table 和 ChangeLog 数据及图形展示
- 支持语法逻辑检查、作业执行计划、字段级血缘分析等
- 沉浸式 FlinkSQL 和 SQL 的数据开发平台:
自动提示补全、语法高亮、语句美化、语法校验、调试执行、执行计划、MetaStore、血缘分析、版本对比等
- 支持多版本的 FlinkSQL 作业各种提交方式:
Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application
- 支持 Apache Flink 所有原生及扩展的 Connector、UDF、CDC 等
- 支持 FlinkSQL 语法增强:
兼容 Apache Flink SQL、表值聚合函数、全局变量、执行环境、语句合并、整库同步、共享会话等
- 支持易扩展的 SQL 作业:
ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
- 支持 FlinkCDC(Source 合并)整库实时入仓入湖
- 支持实时调试预览 Table 和 ChangeLog 数据及 Charts 图形展示
- 支持 Flink 元数据、数据源元数据查询及管理
- 支持实时任务运维:作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录、一键上下线功能(发布后的作业)等
- 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi
- 支持易扩展的实时作业报警及报警组:钉钉、微信企业号等
- 支持完全托管的 SavePoint 启动机制:最近一次、最早一次、指定一次等
- 支持实时任务运维:
上线下线、作业信息、集群信息、作业快照、异常信息、数据地图、数据探查、历史版本、报警记录等
- 支持作为多版本 FlinkSQL Server 以及 OpenApi 的能力
- 支持易扩展的实时作业报警及报警组:钉钉、微信企业号、飞书、邮箱等
- 支持完全托管的 SavePoint/CheckPoint 启动及触发机制:最近一次、最早一次、指定一次等
- 支持多种资源管理:集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等
- 更多隐藏功能等待小伙伴们探索
- 更多隐藏功能期待小伙伴们探索
10 changes: 5 additions & 5 deletions docs/src/components/HomepageFeatures/index.js
Original file line number Diff line number Diff line change
Expand Up @@ -27,8 +27,8 @@ const FeatureList = [
Svg: require('@site/static/img/immersive.svg').default,
description: (
<>
自动提示与补全、语法高亮、语句美化、语法校验、调试预览结果、元数据查询、全局变量、
字段级血缘分析等功能
自动提示与补全、高亮美化、语法校验、调试预览结果、元数据管理、全局变量、
字段级血缘分析等
</>
),
},
Expand All @@ -46,7 +46,7 @@ const FeatureList = [
Svg: require('@site/static/img/easy_of_deploy.svg').default,
description: (
<>
增强 FlinkSQL 语法及机制,如表值聚合函数、全局变量、CDC多源合并和整库同步、执行环境、语句合并、共享会话等
增强 FlinkSQL 语法及机制,如表值聚合函数、全局变量、CDC整库同步、执行环境、语句合并、共享会话等
</>
),
},
Expand All @@ -55,7 +55,7 @@ const FeatureList = [
Svg: require('@site/static/img/one_stop.svg').default,
description: (
<>
提供从 FlinkSQL 开发调试到作业上线下线的运维监控及 OLAP 的即席查询,使数仓建设及数据治理一体化。
提供从 FlinkSQL 开发调试到作业上线下线的运维监控及 OLAP 能力,使数仓建设及数据治理一体化。
</>
),
},
Expand All @@ -73,7 +73,7 @@ const FeatureList = [
Svg: require('@site/static/img/no_invasion.svg').default,
description: (
<>
Spring Boot 轻应用快速部署,不需要在任何 Flink 集群修改源码或添加插件,无感知连接和监控 Flink 集群
Spring Boot 轻应用快速部署,不依赖 Hadoop 等外部环境,无感知连接和监控 Flink 集群
</>
),
},
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -10,15 +10,15 @@ JobManager 作为 Dinky 的作业管理的统一入口,负责 Flink 的各种

**Executor**

Executor 是 Dinky 定制的 FlinkSQL 执行器,来模拟真实的 Flink 执行环境,负责 FlinkSQL 的 Catalog 管理、UDF管理、片段管理、配置管理、语句集管理、语法校验、逻辑验证、计划优化、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。
Executor 是 Dinky 定制的 FlinkSQL 执行器,来模拟真实的 Flink 执行环境,负责 FlinkSQL 的 Catalog 管理、UDF管理、全局变量管理、配置管理、语句集管理、语法校验、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。

**Interceptor**

Interceptor 是 Dinky 的 Flink 执行拦截器,负责对其进行片段解析、UDF注册、SET 和 AGGTABLE 等增强语法解析。
Interceptor 是 Dinky 的 Flink 执行拦截器,负责对其进行变量解析、UDF注册、整库同步、SET 和 AGGTABLE 等增强语法解析。

**Gateway**

Gateway 并非是开源项目 flink-sql-gateway,而是 Dinky 自己定制的 Gateway,负责进行基于 Yarn 环境的任务提交与管理,主要有Yarn-Per-Job 和 Yarn-Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试,而 User Jar 目前只开放了 Yarn-Application 的提交。
Gateway Dinky 自己定制的 Gateway,负责进行基于 Yarn 与 K8S 环境的任务提交与管理,主要有 Yarn Per-Job 和 Yarn/K8S Application 的 FlinkSQL 提交、停止、SavePoint 以及配置测试,而 User Jar 目前只开放了 Yarn-Application 的提交。

**Flink SDK**

Expand All @@ -30,7 +30,7 @@ Dinky 通过调用 flink-yarn 模块进行二次开发。

**Flink API**

Dinky 也支持通过调用 JobManager 的 RestAPI 对任务进行管理等操作,系统配置可以控制开启和停用。
Dinky 也支持通过调用 Flink JobManager 的 RestAPI 对任务进行管理等操作,系统配置可以控制开启和停用。

**Local**

Expand Down
Loading

0 comments on commit 8cc9573

Please sign in to comment.