解放双手！LabelStudio 智能标注实战

显示全部楼层

LabelStudio 中使用智能标注(预标注)的大致流程如下：

1）准备模型部署
2）模型服务接入 LabelStudio
3）配置标注模板时特殊处理
4）开始智能标注

ps：这里说的预标注/自动标签/智能标注都是指：让 ML/AI 模型自主预测标签，然后人工进行审查。

智能标注流程：

1）用户打开任务
2）Label Studio 将请求发送到 ML 后端
3）ML 后端执行预测并返回结果
4）预测被加载到 LabelStudio UI 中展示

1. 准备模型服务

要是有模型进行智能标注，自然得先部署一个模型服务才行。

需要注意的是：对接到 Label Studio 的模型服务需要满足一定规范才行。

可以通过Label Studio ML backend SDK^[1]将我们自己的模型服务转换为一个 Web 服务，然后将该 Web 服务连接到 LabelStudio 以实现智能标注。

是有内置 example 模型服务
实现自己的模型服务

本次演示，直接使用内置的 yolo 服务做为 Backend。

1.1 自定义模型服务

官方文档：Write your own ML backend^[2]

1）clone 并安装 repo
2）初始化项目
3）实现自己的预测逻辑

安装 repo

gitclonehttps://github.com/HumanSignal/label-studio-ml-backend.git
cdlabel-studio-ml-backend/
pip install -e .

初始化项目

label-studio-ml create my_ml_backend

项目结构如下：

my_ml_backend/
├── Dockerfile
├── .dockerignore
├── docker-compose.yml
├── model.py
├── _wsgi.py
├── README.md
├── requirements-base.txt
├── requirements-test.txt
├── requirements.txt
└── test_api.py

只需要关注以下几个文件：

model.py：在该文件中实现自定义预测逻辑
test_api.py：测试文件

实现自定义预测逻辑

model.py中有一个继承自LabelStudioMLBase的 class，该 class 实现了 Label Studio 通信所需的方法。我们可以重新其中的predict方法实现自己的预测逻辑。

def predict(self, tasks, context, **kwargs):
 """Make predictions for the tasks."""
 returnpredictions

这样我们就实现了自己的 ML Backend.

1.2 使用内置服务

这里我们使用 LabelStudio 提供的 Yolo 服务作为 Backend，直接使用即可。

构建镜像

先 clone 该项目

git clone https://github.com/HumanSignal/label-studio-ml-backend

然后使用 yolo example 构建镜像

cdlabel-studio-ml-backend
cdlabel_studio_ml/examples/yolo/

# 构建镜像
DOCKER_BUILDKIT=1 docker build -t humansignal/yolo:v0 -f Dockerfile .

启动服务

使用上一步构建镜像启动服务，完整 yaml 如下：

apiVersion:apps/v1
kindeployment
metadata:
name:yolo
labels:
 app:yolo
spec:
replicas:1
selector:
 matchLabels:
  app:yolo
template:
 metadata:
  labels:
   app:yolo
 spec:
  containers:
   -name:yolo
    image:humansignal/yolo:v0
    ports:
     -containerPort:9090
    env:
     -name:BASIC_AUTH_USER
      value:""
     -name:BASIC_AUTH_PASS
      value:""
     -nameOG_LEVEL
      value:"DEBUG"
     -name:ANY
      value:"ARAMETER"
     -name:WORKERS
      value:"1"
     -name:THREADS
      value:"8"
     -name:MODEL_DIR
      value:"/data/models"
     -nameYTHONPATH
      value:"/app"
     -nameABEL_STUDIO_URL
      value:"http://host.docker.internal:8080"
     -nameABEL_STUDIO_API_KEY
      value:""
     -name:ALLOW_CUSTOM_MODEL_PATH
      value:"true"
     -nameEBUG_PLOT
      value:"false"
     -name:MODEL_SCORE_THRESHOLD
      value:"0.5"
     -name:MODEL_ROOT
      value:"/app/models"
    volumeMounts:
     -name:data-volume
      mountPath:/data
     -name:models-volume
      mountPath:/app/models
     -name:cache-volume
      mountPath:/app/cache_dir
  volumes:
   -name:data-volume
    emptyDir:{}
   -name:models-volume
    emptyDir:{}
   -name:cache-volume
    emptyDir:{}
---
apiVersion:v1
kind:Service
metadata:
name:yolo-service
spec:
type:NodePort# 根据需求可改为 LoadBalancer
selector:
 app:yolo
ports:
 -protocol:TCP
  port:9090
  targetPort:9090
  nodePort:30090# NodePort 范围建议 30000-32767

修改配置

启动前，需要修改部分配置，主要为环境变量，包括 LabelStudio 的信息 URL 和 API Key 需要修改为真实值，其他可以保持原状。

-nameABEL_STUDIO_URL
value:"http://172.20.150.246:30808"
-nameABEL_STUDIO_API_KEY
value:"887037f586e2021f345ed062c9d119d07afb8c89"

其中 API Key 获取方式如下：

启动

然后 apply 即可

kubectl apply -f yolo-ml.yaml

验证

查看运行情况

[root@label-studio-k8s ~]# kubectl get po
NAME          READY  STATUS  RESTARTS  AGE
yolo-9b48946d4-pz75v  1/1   Running  0     9m30s
[root@label-studio-k8s ~]# kubectl get svc
NAME      TYPE    CLUSTER-IP   EXTERNAL-IP  PORT(S)     AGE
yolo-service  NodePort  10.100.45.164  <none>    9090:30090/TCP  9m33s

验证

[root@label-studio-k8s ~]# curl http://10.100.45.164:9090/health
{"model_class":"YOLO","status":"UP"}

至此，模型服务启动成功。

2. 体验智能标注

2.1 创建项目

创建 PreLabel 项目用于测试智能标注。

2.2 ML Backend 接入到 Label Studio

在 Project Setting 中 Model 栏目中添加上一步中启动的模型

ps：LabelStudio 和模型服务在同一个集群，这里直接使用 ClusterIP 对接。

保存即可

2.3 导入待标注文件

上传待标记数据

2.4 配置标注模版(重要)

使用不同的 ML Backend、不同的数据类型等等对于的标签都不相同，具体参考官方文档：Configure labeling interface^[3]

这里使用图片问题识别 + yolo 模型，配置标注模板为以下格式

<View>
<Imagename="image"value="$image"/>
<RectangleLabelsname="label"toName="image"model_score_threshold="0.25">
 <Labelvalue="Car"background="blue"predicted_values="jeep,cab,limousine,truck"/>
</RectangleLabels>
</View>

其中的 values 选项可以调整，但是标签一定要使用 RectangleLabels。

比如这里将 value 修改为 Cat、Dog 和 Other 三个

<View>
<Imagename="image"value="$image"/>
<RectangleLabelsname="animal_label"toName="image"model_score_threshold="0.25">
 <Labelvalue="Cat"background="green"predicted_values="kitten,tabby,persian"/>
 <Labelvalue="Dog"background="orange"predicted_values="puppy,retriever,husky"/>
 <Labelvalue="Other"background="gray"predicted_values="bird,rabbit,unknown"/>
</RectangleLabels>
</View>

效果如下

2.5 开始智能标注

选中 Task 点击 Retrieve Predictions 触发任务

过一会就会生成预测结果，查看

模型预测结果为 0.95 概率是 Cat，然后选择结果也是 Cat，并且框出了范围。

我们需要做的就是检查作业了：

如果模型标注正确，直接提交即可
如果模型标注错误，手动修改并提交

从而极大的减少工作量。

3. 小结

LabelStudio 接入 ML Backend 即可实现智能标注，由模型服务先完成标注，然后人工检查，从而减少工作量。

大致流程如下：

1）准备模型部署
2）模型服务接入 LabelStudio
3）配置标注模板时特殊处理
4）开始智能标注

可以基于Label Studio ML backend SDK^[4]实现自己的 ML Backend，从而实现自己的模型服务完成智能标注。

智能标注详细流程：

1）用户打开任务
2）Label Studio 将请求发送到 ML 后端
3）ML 后端执行预测并返回结果
4）预测被加载到 LabelStudio UI 中展示