Paddle.js 是百度 PaddlePaddle 的 web 方向子项目,是一个运行在浏览器中的开源深度学习框架。Paddle.js 可以加载提前训练好的 paddle 模型,或者将 paddle hub 中的模型通过 Paddle.js 的模型转换工具 paddlejs-converter 变成浏览器友好的模型进行在线推理预测使用。目前,Paddle.js 可以在支持 WebGL/WebGPU/WebAssembly 的浏览器中运行,也可以在百度小程序和微信小程序环境下运行。
项目 | 版本 | 描述 |
---|---|---|
paddlejs-core | 推理引擎 | |
paddlejs-backend-webgl | webgl 计算方案 | |
paddlejs-backend-wasm | wasm 计算方案 | |
paddlejs-backend-webgpu | webgpu 计算方案(实验版本) | |
paddlejsconverter | 转换 paddlepaddle 模型 | |
humanseg | 人像分割模型 sdk | |
ocr | 文字识别模型 sdk | |
gesture | 手势识别模型 sdk | |
mobilenet | 图片分类模型 sdk | |
ocr detection | 文本检测模型 sdk | |
facedetect | 人脸识别模型 sdk |
- paddlejs-core,推理引擎的核心部分,负责整个引擎的推理流程运行
- paddlejs-converter,模型转换工具,将 PaddlePaddle 模型(或称为 fluid 模型)转化为浏览器友好的格式
- paddlejs-models,封装好的模型工程库,提供简易 api 方便用户落地 AI 效果
- paddlejs-examples,Paddle.js AI 效果样例
- paddlejs-mediapipe,数据流处理工具库,支持 webrtc 视频流、轻量 opencv 等工具
- paddlejs-backend-webgl,webgl 方案,目前算子支持最多的方案,算子支持列表
- paddlejs-backend-webgpu,webgpu 方案,该计算方案仍然是实验阶段,WebGPU 仍处于草案阶段 ,算子支持列表
- paddlejs-backend-wasm,WebAssembly 方案,算子支持列表
- paddlejs-backend-cpu,cpu 方案,算子支持列表
- paddlejs-backend-nodegl, nodegl 方案, 在 Node.js 环境中执行预测, 使用 webgl 方案的算子 算子支持列表
- image classification game 物品识别微信小程序——寻物小游戏
- gesture 手势识别 demo 在线体验
- humanStream 基于视频流的人像分割 demo 在线体验
- humanseg 人像分割 demo 在线体验
- ocr 文本识别 demo 在线体验
- ocr detection 文本检测 demo 在线体验
- mobilenet 1000 物品分类 demo 在线体验
- wine 酒瓶识别 demo 在线体验
- webglworker 如何在 Web Worker 中运行 Paddle.js
- PC浏览器: Chrome、Safari、Firefox
- 手机浏览器: Baidu App、Safari、Chrome、UC and QQ Browser
- 小程序: 百度小程序、微信小程序
- 系统: MacOS、Windows
- 支持加载网络模型文件和权重文件:
- model.json (模型结构和算子属性)
- chunk_x.dat (模型参数二进制数据文件)
- 支持加载模型对象
- modelObj.model (模型结构 json 对象)
- modelObj.params(模型参数,类型 Float32Array)
如果不想将模型放入网络时,可以使用方式二,直接将模型对象传入
- 在线视频课程 开始学习
- 欢迎在Github Issue中提出问题,反馈和建议!
- 欢迎在我们的PaddlePaddle Forum提出观点,进行讨论!
- QQ群:696965088