tag:github.com,2008:https://github.com/tencentmusic/cube-studio/releases 2024-12-04T06:37:36Z tag:github.com,2008:Repository/397179336/v2024.11.01 2024-12-04T06:45:33Z <p>添加和优化Jupyter、VSCode支持，包括SSH服务能力和本地显示Matplotlib。<br> 升级基础镜像，支持华为910、ARM64、NVCC版本GPU镜像和devel版本CUDA镜像，更新英伟达基础镜像。<br> 优化GPT地址配置兼容性，代码中镜像域名不写死，避免内网拉取不到镜像的问题。<br> 增加和优化ARM64镜像，增加gamma角色权限，优化用户权限界面和操作权限。<br> 修正部署问题，密码修正为密文存储，优化初始化过程，修正挂载和代理IP问题。<br> 优化和完善文档，包括中英文翻译和帮助文档位置更新。<br> 支持JSON类型输入，pipeline编排任务参数支持提示信息（tip）。<br> 数据集模块优化，包括跳转到Notebook上传和模板升级。<br> 修复前端显示问题，包括详情页面缩进、表格显示、部分搜索列表不显示中文等问题。<br> 增加LDAP单点登录和安全登录，完善安全扫描。<br> 视频跟踪自动化标注，优化多目标跟踪模型，增加YOLO跟踪AIHub应用和示例。<br> 在线VSCode增加SSH服务能力，IDE SSH远程自动Python。<br> 更新和优化镜像源、仓库账号和拉取秘钥，设置镜像拉取策略环境变量。<br> 新增和优化多分类模型支持，包括LightGBM、KNN、GBDT、决策树、XGBoost、Adaboost和LR的多分类及离线推理结果概率列名转换。<br> AIHub部署支持配置项目组，增加独立应用构建镜像和任务模板。<br> 优化和删除冗余代码，去除非必要文件，减少日志打印。<br> 升级流量代理认证和计量计费账单功能，优化账单ID生成策略。<br> 修正自动化标注模型地址和部分体验问题，更新pandas版本。<br> 支持语种识别模型和语音分类模型，AIHub在线开发。<br> 推理服务和Notebook支持GPU显存单独设置，升级VGPU监控。<br> 优雅化代码，升级Istio部署，修改Grafana默认主题。<br> 修正项目成员代码位置、镜像名、Torch-Server模型发布文件名和模型名不支持的问题。<br> 服务发布需要先清理，升级推理服务镜像，更新TFServing的推理服务。<br> 完善YOLOv8任务模板和示例，支持构建成AIHub应用。<br> Pipeline复制不保留实例信息，修正超参搜索算法可取值的问题。<br> 更换ChatGPT Token，数据写入前增加JSON校验，更新脚本。<br> Notebook不显示Node Selector，完善标注导入任务模板。<br> 内部服务支持定义首页路径，添加标注数据导入任务模板。<br> 修复部署显示问题，修正算子打开目录时的部分Bug，Pipeline算子支持镜像调试。<br> 示例Pipeline不允许修改，处理图标网站域名访问受限的问题。<br> 修正数据智能中的提示信息和记忆上次会话内容，修正激活包和初始化工作目录。<br> 增加激活码，支持菜单权限控制，更新Label Studio镜像版本。<br> 聊天会话私有会话增加提示词构建，移动ChatWeb构建后的目录地址。<br> 标注系统自动化标注接口添加服务内部名称，新版本标注系统对接Bug修复。<br> 删除一些不能识别的图片，只保留一个目标识别自动化接口，优化部分代码。</p> data-infra tag:github.com,2008:Repository/397179336/v2024.09.01 2024-09-24T01:11:00Z <h1>支持与功能增强</h1> <p>支持最新版本的containerd<br> 任务模板参数支持 workdir子类型和image子类型<br> 增加12.6的cuda<br> 增加激活码<br> 支持菜单权限控制<br> 更新label studio镜像版本<br> 聊天会话，私有会话增加提示词构建<br> 添加aihub独立应用构建镜像<br> 标注系统自动化标注接口 添加上服务内部名称<br> 新版本标注系统 对接bug修复<br> 删除一些不能识别的图片<br> 只保留一个目标识别自动化接口<br> 打开notebook，支持替换个人目录<br> 更新workdir子类型<br> rancher 镜像从国内拉取<br> 增加aihub环境镜像<br> 增加视频帧标注示例<br> 升级yolov8的示例<br> notebook 不显示node selector<br> 内部服务，支持定义首页路径<br> pipeline算子支持镜像调试<br> 示例pipeline 不允许修改<br> yolov8支持构建成aihub应用<br> 增加gpu镜像版本<br> pipeline复制不保留实例信息</p> <h1>文档完善</h1> <p>完善文档<br> 增加中英文翻译<br> 增加12.6的aihub文档</p> <h1>界面与用户体验</h1> <p>更换favicon的位置<br> 界面多级索引的时候返回上一层目录时指定范围url<br> 单机多进程超参数搜索添加项目组注释<br> 模型管理默认按名称分类<br> 前端静态文件都打包到前端镜像中<br> 添加前端文字描述<br> 修复echart内容可视化<br> 删除在线调试时清理启动的pod<br> 移动chatweb 构建后的目录地址<br> 处理图标网站域名访问受限的问题<br> 修正数据智能中的tips的问题，和记忆上次会话内容<br> 修正初始化示例中的wget前rm<br> 优化整体资源的显示<br> 完善标注导入任务模板<br> 修复部署显示问题<br> 修正算子打开目录时的部分bug<br> 修正超参搜索算法可取值的问题</p> <h1>代码优化与修复</h1> <p>去掉冗余环节<br> 优化部分代码<br> 修改label studio的镜像<br> 临时更换账号密码<br> 升级label studio版本对应的接口<br> 更新镜像源<br> 优化yolov8任务模板<br> 添加aihub任务模板<br> 更换chatgpt token<br> 数据写入前，增加json校验<br> 更新脚本<br> 修正激活包<br> 修改初始化 workdir</p> <h1>其他</h1> <p>添加误删除代码<br> 替换仓库地址</p> data-infra tag:github.com,2008:Repository/397179336/v2024.08.01 2024-08-21T07:47:59Z <p>支持list界面历史版本和增改界面级联参数类型<br> 支持级联参数类型，以及notebook示例<br> 增大内网穿透端口<br> 升级grafana版本<br> 优化图标显示<br> 更换github地址<br> 增加github ci<br> 去除模型结构网络定义功能<br> 编排界面支持通用编排能力<br> 增加标注训练全流程示例<br> 更新报错显示<br> 更新label studio的镜像<br> 添加模型定义功能，编排模型结构<br> 通用pipeline支持场景配置<br> 更新label studio 部署和yolov8测试示例<br> 修改整体资源页面占用资源但未running pod的显示<br> Aihub 增加Apple 续写模型DCLM-7B<br> 初始化标注平台到public 项目组<br> 添加项目组信息查询接口<br> 添加aihub部署的时候 自动覆盖代码。实现aihub的更新<br> 添加结果保存步长限制<br> 添加操作行为记录<br> 修改docker 安装方法<br> yolov8目标识别结果保存<br> 添加音频处理模板<br> 任务模板参数 choice可配置key value<br> 添加数据处理流程任务模板<br> 标注平台更改logo<br> 全自动流程电瓶车识别<br> 增加yolov8的微调示例<br> 更新最新需要的镜像列表<br> 自动化标注支持多后端模型<br> 升级sd weiui为中文，目标识别检测<br> 完善不使用docker时的部署方法<br> 修正初始化模板<br> 完善文档<br> 任务模板强制必须添加启动命令<br> 修正部分aihub应用镜像<br> 修正运行中任务流示例的耗时显示<br> 修正内存资源没有单位显示时的计算<br> yolov7支持gpu训练，和推理<br> 清理冗余代码<br> 修正整体资源界面删除时aihub清理<br> 修改默认rancher版本和k8s版本<br> 全量增加模板的启动命令<br> vgpu升级到k8s 1.25<br> 修复任务可视化显示<br> 优化推理服务配置显示<br> 更新gpt的url</p> data-infra tag:github.com,2008:Repository/397179336/v2024.06.03 2024-06-29T15:52:40Z <p>修复部分bug</p> data-infra tag:github.com,2008:Repository/397179336/v2024.06.02 2024-06-28T03:42:30Z <p>mlops平台相关：</p> <p>修正内部服务ip范围<br> 更新教程视频<br> 支持pipeline任务优先级<br> nni超参搜索支持单机多进程和多机多进程两种形式<br> 修正notebook ssh链接配置<br> notebook配置内外网时，模式使用url代理，而不是端口代理<br> 数据集sdk去除load功能<br> watch组件只是supervisord管理进程<br> 修复在celery worker中数据库连接失败的报错问题<br> 修复微调添加出错后，平台数据库受影响的问题<br> 添加用户登录时拷贝示例数据到个人目录<br> 添加pipeline导出<br> 支持k3s部署cube-studio<br> 支持helm部署cube-studio<br> 支持kubesphere部署cube-studio<br> 优化边缘集群模式部署<br> 添加最小化单机部署<br> 添加pod计量计费区分不同集群<br> 删除pipeline时，清理绑定的workflow<br> 分布式任务支持gpu共享占用模式<br> 修复管理员批量删除在线pod的功能<br> 去除前端输出重复校验的问题<br> 增加cuda 12.1的notebook，pipeline镜像<br> 计量计费增加机器信息<br> 升级hadoop客户端任务模板，支持hdfs，hadoop，spark，hive任务执行<br> 升级大数据版本jupyter，支持hdfs，hadoop，spark，hive任务执行<br> 添加datax-import任务模板，不使用json作为输入<br> 升级ml推理镜像，支持输入输出信息显示<br> rstudio添加激活按钮<br> 支持推理服务定时伸缩容<br> 更改第四范式vgpu化能力<br> sqllab支持hive，presto，clickhouse sql对接<br> datax支持拉取clickhouse数据<br> 推理服务支持jwt统一认证<br> 支持label studio标注平台免登录<br> 内部服务支持window应用<br> 模型管理支持模型下载<br> 数据集管理支持数据集预览<br> 用户界面去除删除按钮</p> <p>aihub模型市场相关：</p> <p>增加aihub基础镜像版本<br> aihub支持对接hugging face<br> 去除aihub原有前端界面，改为gradio<br> 删除失效的aihub应用</p> <p>gpt大模型相关：</p> <p>aihub添加百川2，llama3，gemma，glm4等各类型的gpt大模型<br> 完善deepspeed任务模板和示例<br> 增加baichuan2，llama2，chatglm2，chatglm3，chatglm4，qwen2微调任务模板<br> 支持大模型vllm推理和openai流式接口<br> 添加llama-factory任务模板<br> 智能聊天，支持结果可视化<br> 修正私有知识库接收消息不全的问题<br> 添加chatglm3，chatglm4，qwen2 微调全链路<br> aihub支持stable-cascade，sd3，sd video以及sd的其他模型<br> 智能体支持aihub接口格式<br> 智能体支持chatglm4和qwen2</p> data-infra tag:github.com,2008:Repository/397179336/v2024.06.01 2024-06-22T02:53:28Z <p>更新初始化示例</p> data-infra tag:github.com,2008:Repository/397179336/v2024.03.02 2024-02-29T06:54:56Z <p>1、更新torch server、tfserving、triton server推理服务镜像版本<br> 2、k8s dashboard web界面去除不可控区域，避免安全问题<br> 3、升级任务模板<br> 4、增加智能聊天功能<br> 5、增加任务优先级<br> 6、增加计量计费<br> 7、增加算力额度控制<br> 8、支持添加端口黑名单<br> 9、修正数据集备份功能<br> 10、添加notebook镜像保存<br> 11、yolov3更新为yolov7，推理web使用gradio<br> 12、其他的文档修正和代码bug修正</p> data-infra tag:github.com,2008:Repository/397179336/v2024.03.01 2024-02-28T12:16:21Z <p>更新文档，删除冗余代码</p> data-infra tag:github.com,2008:Repository/397179336/v2024.01.06 2024-02-04T14:52:35Z <p>完善文档<br> 完善初始化示例<br> 完善测试脚本<br> 更换新版本整体资源界面<br> 支持暂停和恢复任务流<br> 任务流支持任务推荐<br> 分布式训练支持gpu和rdma，拉取秘钥等信息传递<br> 全面修改国内网络源的使用<br> 新增ib卡的监控<br> 修复gpu显存占用率和gpu利用率bug<br> 标准化ml server配置格式和接口格式<br> 支持统一镜像服务下多仓库秘钥配置<br> 新增各类型特征处理模板<br> 新增时间序列算法模板<br> aihub修改统一前缀/aihub/$name/和/aihub/$name/api<br> 前后端支持国际化<br> 支持数据集一键探索功能<br> 删除冗余前端代码<br> 支持ipvs 的k8s网络模型<br> 支持分布式训练时单机调试分布式worker镜像<br> 支持ssh隧道联动notebook sshd<br> 添加内网离线环境部署打包的修正方法<br> 全面升级python基础包<br> 支持centos8和ubuntu22.04部署<br> 支持sqllab，菜单，可配置化<br> 添加datax，sqllab，维表对接postgres的示例<br> 增加数据库结构说明<br> 增加登录验证，强密码，远程用户，登录频率限制，密码密文传输等<br> 支持gpt4对话<br> 整体资源页面，支持管理员批量删除<br> 增加修改和删除，清理等操作的历史记录<br> 修正智能聊天在特殊返回值下内容显示不全的问题<br> 修正后端错别字，中英文和非必要的冗余代码<br> 添加任务流导入模板<br> 删除任务时，删除相同run-id的service<br> 修正任务超时的配置<br> 去除frameworkcontroller组件，nni组件不再依赖<br> 添加跳过功能<br> workflow pod人性化展示以及中文显示<br> 修正整体资源界面，vgpu调度显示</p> data-infra tag:github.com,2008:Repository/397179336/v2024.01.05 2024-01-05T03:27:45Z <p>添加gpu资源采集</p> data-infra