Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
11 changes: 11 additions & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,6 +2,8 @@

> English | [中文](./README_zh.md)

![Instance-monitoring](./docs/pictures/Instance-monitoring.png)

**OpenClaw Observability Platform**, developed based on the KWeaver Core framework, uses OTel protocol and eBPF technology for full-link tracing and monitoring of AI Agents. It provides rapid fault diagnosis, security compliance management, and lean computing operations capabilities to ensure high-quality growth of AI-powered businesses.

## Core Features & Business Value
Expand Down Expand Up @@ -199,6 +201,15 @@ vector --config vector.yaml

---

## More Screenshots

![Digital-Employee-Overview](./docs/pictures/Digital-Emmployee-Overview.png)
![Digital-Employee-Overview2](./docs/pictures/Digital-Employee-Overview2.png)
![Digital-Employee-Portrait-Capability](./docs/pictures/Digital-Employee-Portrait-Capability.png)
![Digital-Employee-Portrait-Security](./docs/pictures/Digital-Employee-Portrait-Security.png)
![Digital-Employee-Portrait](./docs/pictures/Digital-Employee-Portrait.png)


## Version Compatibility

This project closely follows the development of the OpenClaw community. It has been developed, validated, and tested based on the latest version of OpenClaw. For accurate collection and display of observability metrics, it is recommended to use in the following environment:
Expand Down
17 changes: 14 additions & 3 deletions README_zh.md
Original file line number Diff line number Diff line change
@@ -1,5 +1,8 @@
# OpenClaw 可观测性平台

![概览页](./docs/pictures/概览页.png)
![实例监控](./docs/pictures/实例监控.png)

**OpenClaw 可观测性平台**,基于 KWeaver Core 框架开发,使用 OTel 协议、eBPF 技术对智能体进行全链路追踪与监管,提供故障快速排查、安全合规管控及算力精益运营的管理能力,护航 AI 赋能业务的高质量增长。

## 核心特性与业务价值
Expand Down Expand Up @@ -196,11 +199,19 @@ vector --config vector.yaml
* 在 OpenClaw 界面进行对话互动
* 在 opsRobot 产品界面中查看采集数据:http://localhost:3000

## 更多截图
会话溯源分析:
![溯源分析](./docs/pictures/溯源分析.png)

Token 消耗看板:
![Token消耗](./docs/pictures/Token消耗.png)




数字员工模块(概览与画像):
![Digital-Employee-Overview](./docs/pictures/Digital-Emmployee-Overview.png)
![Digital-Employee-Overview2](./docs/pictures/Digital-Employee-Overview2.png)
![Digital-Employee-Portrait-Capability](./docs/pictures/Digital-Employee-Portrait-Capability.png)
![Digital-Employee-Portrait-Security](./docs/pictures/Digital-Employee-Portrait-Security.png)
![Digital-Employee-Portrait](./docs/pictures/Digital-Employee-Portrait.png)


## 版本兼容性
Expand Down
7 changes: 4 additions & 3 deletions docs/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -44,8 +44,9 @@
- **[👉 配置变更审计](./features/config-audit.md)**:追踪和审计 AI Agent 配置变更行为,实现配置变更可追溯、可审计,防范配置异常带来的安全风险。
![alt text](./pictures/变更列表.png)
- **[👉 生产力核算:成本分析账单](./features/cost-analysis.md)**:提供 Token 消耗的整体监控和分析仪表盘,直观呈现 Token 消耗全局态势,为成本管控提供数据支撑。
![alt text](./pictures/Token%20消耗.png)
- **[👉 数字员工:概览与画像](./features/digital-employee.md)**:从员工视角联动健康度、成本、质量与安全五维指标,支持全局盘点与单体诊断。
![alt text](./pictures/Token消耗.png)
- **[👉 数字员工模块:概览与画像](./features/digital-employee.md)**:新增数字员工概览与数字员工画像功能模块,全方位展示数字员工的工作效能、能力标签及安全评分,为精细化员工运营提供数据支持。
![数字员工画像](./pictures/数字员工画像.png)

### 🏗️ 架构参考
解析底层数据收集和清洗机制。
Expand All @@ -59,4 +60,4 @@

---

> GitHub 官方仓库: [https://github.com/aishu-opsRobot/openclaw-observability-platform](https://github.com/aishu-opsRobot/openclaw-observability-platform)
> GitHub 官方仓库: [https://github.com/opsrobot-ai/opsrobot](https://github.com/opsrobot-ai/opsrobot)
116 changes: 63 additions & 53 deletions docs/features/digital-employee.md
Original file line number Diff line number Diff line change
@@ -1,87 +1,97 @@
# 数字员工(概览与画像)

数字员工模块围绕“全景概览 + 深度画像”双页设计,用于从队伍到单体、从宏观指标到微观会话,系统化评估 AI Agent 的业务表现与治理风险
**数字员工模块**采用“全景概览 + 深度画像”的双星互动设计,致力于为企业提供从队伍全局统筹到单体深度追踪的全周期管理能力。借助本模块,您可以实现从宏观指标洞察到微观会话追踪的自由下钻,系统化地评估 AI Agent(智能体)的业务表现,并精准识别潜在的治理与安全风险

---

## 🌟 核心功能与价值

在多 Agent 并行运行场景下,数字员工模块通过“全景 + 深描”双视角,帮助团队建立可观测、可评估、可治理的运营闭环
在多 Agent 并行及异构化运行场景下,仅仅关注单一请求往往会“只见树木,不见森林”。数字员工模块通过“全景 + 深描”的双视角,帮助您的运营与 IT 团队建立起**可观测、可评估、可治理**的完整运营闭环

1. **数字员工全景概览**
- **核心价值**:一站式洞察数字员工队伍在五维模型下的综合表现,通过可视化排行实现优劣势对比。
- **管理收益**:快速识别高风险员工、核心渠道与投入产出差异,支持资源调度和治理优先级排序。
### 1. 数字员工全景概览

2. **数字员工深度画像**
- **核心价值**:聚焦单体员工,提供从宏观数据到微观会话的下钻分析,实现全链路审计与行为透视。
- **管理收益**:将“异常现象”定位到具体会话、具体行为、具体策略,提升问题闭环效率。
概览页面是您监控 AI Agent 大军的“超级指挥中心”。通过多维度的数据切面,帮助企业管理者快速掌握当前所有数字员工的工作动态。

3. **五维能力评估模型**
- **能力维度 (Capability)**:评估队伍的“技能上限”与“装备水平”,界定其业务处理边界。
- **质量维度 (Quality)**:监测“运行稳定性”与“异常率”,确保服务交付的高标准。
- **成本维度 (Cost)**:分析“资源消耗结构”与“投入产出比”,优化运营预算。
- **效能维度 (Efficiency)**:衡量“单位时间产出”与“规模匹配度”,量化实际贡献值。
- **安全维度 (Security)**:严守“企业合规红线”,实时监控风险等级,确保数据安全可控。
- **核心价值**:一站式洞察数字员工队伍在五维评估模型(能力、质量、成本、效能、安全)下的综合表现。支持通过可视化排行对比不同 Agent 的优劣势。
- **管理收益**:快速识别出“高风险员工”、“核心渠道”及“投入产出失衡”的重灾区,为资源重新调度及治理优先级排序提供关键数据支撑。

![数字员工概览](../pictures/Digital-Emmployee-Overview.png)
![数字员工概览 - 趋势与明细](../pictures/Digital-Employee-Overview2.png)

### 2. 数字员工深度画像

画像页面是聚焦单体员工的“显微镜”。当在概览中发现异常时,可通过点击下钻,以立体视角解析特定员工的每一步行为及其潜在隐患。

- **核心价值**:聚焦特定 Agent,提供从跨度数月的宏观数据到精确到分秒的微观会话流下钻分析,实现全链路的审计与行为透视。
- **管理收益**:不再满足于发现问题,而是直接将“异常现象”精准定位到具体的会话、具体的错误调用和违规策略,极大提升故障排查与问题闭环的效率。

![数字员工画像 - 全局监控](../pictures/Digital-Employee-Portrait.png)

### 3. 五维能力评估模型

我们在底层将原本散乱的统计数据聚合成为专业的“数字员工五维评估模型”,为每位数字员工生成全面立体的考核表:

- **能力维度 (Capability)**:评估队伍的“技能雷达”与“可用工具广度”,界定其业务处理的复杂上限。
- **质量维度 (Quality)**:实时监测“运行稳定性”与各种异常(如超时、拒绝请求等),确保交付体验的高标准。
- **成本维度 (Cost)**:多维分析“资源消耗结构”与“Token 流水账”,彻底告别大模型消耗的一笔糊涂账。
- **效能维度 (Efficiency)**:精准衡量其对于并发任务的处理耗时以及规模匹配度,量化其实际的业务贡献。
- **安全维度 (Security)**:企业合规的终极防线,实时监控命中风控策略的违规数量,守好数据安全红线。

![数字员工画像 - 能力诊断](../pictures/Digital-Employee-Portrait-Capability.png)
![数字员工画像 - 安全风控](../pictures/Digital-Employee-Portrait-Security.png)

---

## 📸 核心组件功能分析
## 📸 核心组件解析

### 1) 数字员工概览(全景组件)

- **核心指标区**:健康度、员工总数、在线员工数、渠道分布、人均成本、人均效率、红线员工数,用于建立队伍级“当前状态”。
- **驾驶舱图表**:
- 成本趋势(时间窗口)
- 会话趋势(时间窗口)
- 能力分布(按技能数)
- 效能分布(P95 耗时)
- 质量分布(成功率)
- 安全分布(红灯数量)
- **Top 排行组件**:高风险清单 / 高效率清单,支持从全局榜单直接跳转单员工画像完成下钻。
- **核心指标看板**:实时汇总健康度、总员工数、当前活跃员工数、渠道分布情况、平均 Token 成本、P95 耗时以及命中红线的风险员工数。
- **动态驾驶舱图表**:
- 成本与会话趋势面板(时间窗口自由选择)
- 能力与效能热力分布
- 质量成功率与安全红灯拦截折线图
- **Top 排行预警组件**:高风险员工黑榜 / 高效率员工红榜。支持从全局榜单中一键穿透至“单员工画像”。

### 2) 数字员工画像(深度组件)

- **员工列表组件**:按会话展示,单选高亮,支持渠道/风险/模型供应商筛选。
- **基础信息组件**:系统标识、最近活跃、标签、模型与工作区信息。
- **五维页签组件**:
- 能力维度
- 质量维度
- 效能维度
- 成本维度
- 安全维度
- **会话时间线组件**:按风险等级展示会话节点,并可跳转会话溯源。
- **质量明细弹窗组件**:支持异常中止、工具错误、命令错误等问题的会话级追踪。
- **员工档案与标签**:清晰展示系统唯一标识、最近活跃时间、角色标签、底层采用的 LLM 模型等基础元信息。
- **五维专属页签**:以选项卡形式深度解构“能力、质量、效能、成本、安全”五大数据域。
- **全息会话时间线**:以时间轴形式,按风险等级(高危、警告、正常)回放关键会话节点,支持一键无缝跳转至【会话溯源】页面。
- **质量明细追踪台**:弹窗式展示该员工发生过的异常中止、API 接口调用失败、意图识别偏差等细粒度追踪报表。

---

## 🔎 运维联动建议
## 🔎 运维与排障联动建议

当你在数字员工概览或画像中观察到异常时,建议按以下路径联动排查
当您在数字员工面板中观察到指标异动时,建议按照以下业务流进行科学的排查验证

1. **发现高风险员工上升**
- 先在概览页锁定高风险员工与风险趋势;
- 再进入画像页安全维度,确认风险评分、等级与策略项变化;
- 最后跳转会话溯源,定位具体风险会话与触发行为
**🔴 场景一:发现高风险员工比重突然上升**
1. **纵观全局**:首先在【横向概览页】中查看安全分布图表,锁定报警峰值及名单内的高风险员工。
2. **深度透视**:点击进入该员工的【数字员工画像】,切换到“安全维度”页签,确认其安全评分断崖式下跌的原因及触发的具体管控策略。
3. **定位溯源**:在时间线上挑选带有红色“Risk”标记的节点,跳转至会话溯源页,直接查看触发该合规拦截的输入输出原始报文

2. **发现质量指标下滑(成功率下降、错误率升高)**
- 在画像页质量维度查看异常中止/工具错误/命令错误明细;
- 联动会话时间线,确认问题集中时段与会话样本;
- 回看工具调用链路与模型输出,优先修复高频失败路径
**🟡 场景二:质量指标下滑(如请求成功率骤降、调用失败攀升)**
1. **寻找病灶**:在【画像页 -> 质量维度】中,核对报错归类(是 LLM 上游异常、工具鉴权失败,还是平台内部崩溃)。
2. **时间交叉**:联动其会话时间线,寻找密集报错的发生阶段。
3. **修复链路**:回看失败会话日志,优先排查高频失败动作(如某个三方工单插件接口响应超时),针对性进行代码发版修补

3. **发现成本波动异常**
- 在概览页成本趋势对比员工间差异;
- 在画像页成本维度核对 Token 结构与估算成本;
- 结合效能维度判断“成本提升是否带来产出提升”,避免低效投入
**🟢 场景三:Token 成本剧烈波动**
1. **横向对齐**:在概览页的“人均成本排行榜”中,确认是偶然个体消耗大,还是整体员工耗能上升。
2. **纵向分析**:进入相关数字员工画像的“成本维度”,分析最近几周的结构变化趋势(Prompt 成本剧增 还是 Completion 回复冗长)。
3. **效能折算**:交叉对比同期的“效能维度”,判断此次成本走高是否有效地支撑了高倍的业务量提升;如果不匹配,极可能是出现了 Prompt 逻辑锁死或循环无效调用的异常情况

## 🎭 Mock 使用方式
---

当配置 `VITE_MOCK=true` 时,数字员工接口将走 mock 路由:
## 🎭 研发阶段:Mock 数据使用方式

- `GET /api/digital-employees/overview`
- `GET /api/digital-employees/profile`
出于调试或演示目的,本模块自带一整套完整的沙盒 Mock 环境。

对应数据文件:
当您在环境配置中设置 `VITE_MOCK=true` 时,数字员工的前端接口将自动分流至 Mock 路由:
- 概览接口: `GET /api/digital-employees/overview`
- 画像接口: `GET /api/digital-employees/profile`

相应的数据将由以下本地文件提供支持,您可以自由修改它们来模拟各类的演示场景:
- `mock/data/digital-employee-overview.mjs`
- `mock/data/digital-employee-profile.mjs`

Binary file added docs/pictures/Digital-Emmployee-Overview.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/pictures/Digital-Employee-Overview2.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/pictures/Digital-Employee-Portrait.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/pictures/Instance-monitoring.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
File renamed without changes
Binary file added docs/pictures/数字员工概览1.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/pictures/数字员工概览2.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/pictures/数字员工画像.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading