一站式开发新手教程.md

一站式开发新手教程

创建开发环境（深度学习模型开发环境+部署集成环境）

# 第一步：生成镜像
sudo bash docker/build_dev.sh with-android-ndk with-vscode-server

# 第二步：启动IDE环境容器
# -e PASSWORD=123， 在这里可以设置开发者的专有密码
sudo docker run -d -p 8080:8080 -e PASSWORD=123 -v /tmp:/tmp -v $(pwd):/workspace -v /var/run/docker.sock:/var/run/docker.sock -v /usr/bin/docker:/usr/bin/docker --gpus all --privileged antgo-env-dev /opt/code-server --host 0.0.0.0 --auth password

新手任务YOLOV8

创建示例代码

antgo create mvp --name=yolov8

远程模型训练（推送到远程计算服务器）

基于ssh远程任务提交

• 配置ssh远程任务提交

  需要配置远程服务器地址以及用户名（自动配置免密登录）

  # 第一步：生成ssh配置文件（ssh-submit-config.yaml）
  antgo submitter template --ssh
  # 在创建的ssh-submit-config.yaml文件中填写服务器地址和用户名
  # config:
  #   username: '用户名'
  #   password: ''
  #   ip: 'IP地址'
  # script: 'ssh-submit.sh'
  
  # 第二步：更新配置并根据提示信息完成免密登录配置
  antgo submitter update --ssh --config=ssh-submit-config.yaml
  
  # 第三步（可选）：查找所有配置过的远程地址
  antgo submitter ls --ssh
  

• 执行远程提交命令

  执行提交后，任务在远程执行

  antgo train --ssh --exp=yolov8 --config=./yolov8/configs/yolov8.json --no-validate --gpu-id=0,1,2,3 --ip=xxx.xxx.xxx.xxx
  

• 查看远程任务列表

  antgo ls --ssh
  

• 查看远程任务日志

  # 运行日志    
  antgo log --ssh --id=任务ID
  

• 停止远程任务

  # 停止运行任务
  antgo stop --ssh --id=任务ID
  

基于k8s远程任务提交

TODO

基于自定义脚本远程任务提交

TODO

数据部署

基于ssh远程任务的数据部署

• 部署数据

    # 部署 YourDataset.tar，部署后自动解压。在远程任务使用时，通过设置目录/dataset/YourDataset，可以访问数据
    antgo dataset add --src=YourDataset.tar --ssh

• 删除数据

    # 删除部署的数据
    antgo dataset del --src=YourDataset --ssh

• 查看数据

    # 查看远程机器的部署数据
    antgo dataset ls --ssh

基于k8s远程任务的数据部署

TODO

本地模型测试

antgo eval --exp=yolov8 --config=./yolov8/configs/yolov8.json --checkpoint=epoch_xxx.pth

远程模型测试

基于ssh远程任务提交

# 默认已经完成配置ssh远程任务提交
antgo eval --exp=yolov8 --config=./yolov8/configs/yolov8.json --checkpoint=epoch_xxx.pth --ip=xxx.xxx.xxx.xxx

基于k8s远程任务提交

TODO

模型导出ONNX

antgo export --exp=yolov8 --config=./yolov8/configs/yolov8.json --checkpoint=epoch_xxx.pth