Skip to content

Latest commit

 

History

History
330 lines (156 loc) · 6.02 KB

数据标注学习笔记.md

File metadata and controls

330 lines (156 loc) · 6.02 KB

数据标注 学习笔记

本文记录在学习数据标注时的一些笔记。

内容来自:

  1. 《数据标注工程》这本书

  2. 互联网众多数据标注公司官网中关于业务的介绍

    实际上也是对数据标注行业的介绍

    这些公司有:

    阿里数据标注:http://www.alilabel.com/

    冰山数据:http://www.mark.hk/

    觉醒力量:http://www.awkvector.com/

    博菲数据:https://www.boofei.com/

本文采用自问自答的形式。


什么是数据标注?

数据标注就是通过分类、画框、画线、锚点、多边形、标注、注释等方式,对文本、图像、语音、视频等数据进行处理,标注出主要特征,以此作为机器训练的基础素材。


为什么需要数据标注?

因为人工智能(AI)在做学习时,需要大量训练素材,通过人工对原始数据的标注,可以提高 AI 训练成果。


得到训练数据的整个流程是?

  1. 数据采集

    通过自有平台采集、通过网络爬虫爬寻数据、购买第三方提供的数据

  2. 数据清洗

    去除掉无用、无效、异常的数据

  3. 数据标注

    标记出数据的主要特征

  4. 数据质检

    通过人工抽检、全检的方式来对数据和标注进行质量检测

    若标注不合格,则退回重新标注


文本数据通常有哪些标注?

  1. 文本分类

  2. 内容标签

  3. 意图标注

  4. 词槽分析

  5. 阅读理解

    “小明不小心把手里的东西掉在地上了” ,这句话里要标注出 东西是指物品

    “我迷路了,已经分不出东西” ,这句话要标注出 东西是指方向


图像数据通常有哪些标注?

  1. 图像清洗

  2. 文字识别

  3. 区域框选

    使用方框,框选出需要甄别的物体

  4. 语义分隔

  5. 描边打点

    用更加精细化的区域描边勾选方式,精准得到物体的轮廓边缘

    “打点” 可以理解为添加锚点,例如人脸关键点、人体关节点等重要点的信息


音频数据通常有哪些标注?

  1. 语音转写
  2. 语音切分
  3. 噪点标注
  4. 稀有语种
  5. 音频分析

视频数据通常有哪些标注?

  1. 内容转写
  2. 信息提取
  3. 片段切分
  4. 视频审核
  5. 摘要编写

哪些行业对于数据标注需求量比较大?

凡是需要人工智能的领域,数据标注需求量都比较大,例如智能驾驶、智慧医疗、人脸识别、语音助手等。


车辆智能驾驶领域通常需要哪些数据标注?

  1. 车道线标注

  2. 车牌、指示牌、信号灯标注

  3. 道路区域分割标注

  4. 车辆、行人框标注

  5. 车辆多边形标注

  6. 车辆、行人行进方向标注

  7. 3D雷达标注

  8. 车辆3D边框标注

  9. 3D点云标注

    3D点云数据通常为 .pcd 格式的文件,pcd 是英文 Point Cloud Data 的简写。

    基于 WebGL 的 Three.js 中,负责加载 .pcd 文件的加载器是 PCDLoader

    还有基于 3D 点云标注 和 2D 标注融合的标注形式,简称:3D/2D融合标注

  10. 跟踪标注

    视频或连续图像中跟踪检测车辆,形成有ID关联的运动轨迹


3D点云标注是什么样子的?

看图说话

图片来自alilabel.com


图片来源于testin.cn


图片来自bofei.com


图片来源于mindflow.com.cn


图片来源于stardust.ai



点云数据格式是什么?

点云数据遵循 PCD 标准,文件后缀为 .pcd。

最新 PCD 标准为 2020 年发布的 0.7 版

更多 PCD 相关知识,请查阅我另外一篇学习笔记:点云数据(Point Cloub Data)学习笔记.md


3D点云标注通常又细分哪些类型?

以下图片来源于 数据堂(datatang.com)

第1:3D云分割


第2:3D点云追踪


第3:3D点云单帧



数据标注公司与人工智能训练平台的关系?

人工智能研究或训练平台他们往往都会将数据标注工作外包给第三方公司。

怎么说呢,毕竟数据标注本质上是一个技术门槛并不特别高,人工劳动密集型行业

数据标注公司会根据客户要求,对数据进行标注。

而数据标注公司又可能会将具体的标注工作进行网站外包,外包给做数据标注兼职人员。

数据标注公司会提供标注工具、数据标注质量检测、数据清洗、最终将结果交付给客户。


国内2021年数据标注公司排行榜

  1. 云测数据

  2. 数据堂

  3. 龙猫数据

  4. 星辰数据

  5. 文德数慧

  6. 格物钛

  7. 点我科技

  8. 曼孚科技

  9. 梦动科技

  10. 标贝科技

  11. 笑猫科技

  12. 37°C Data

  13. 海天瑞声

  14. 翊澳数据

  15. 景联文

    ...


国内数据集平台

格物钛:https://www.graviti.cn/

该网站提供:

  1. 海量公开数据
  2. 提供私有数据管理

国外数据标注平台

https://www.supervise.ly/

该网站提供:

  1. 在线标注工具
  2. 已标注好供 AI 训练的数据