数据标注到底在做什么?从一条标签理解模型如何学习

一提到人工智能,我们经常讨论模型规模、训练速度和推理成本,却容易忽略一个更基础的问题:模型到底应该学会什么?

以用户反馈分类为例。我们希望系统自动判断一条评论是正向还是负向,但“正向”“负向”并不会天然写在原始文本里。把业务希望模型识别的内容,转化成明确、可记录、可检查的答案,就是数据标注的重要作用。

这篇文章先讲清原理。下一篇再用 Open Marker 实战,把这些概念落到一个真正能导入、标注、审核和导出的项目里。

一、先从一句用户反馈说起

假设我们收集到这样一句话:

界面很好看,但上传一直失败。

它是正向评价,还是负向评价?

如果任务是“判断界面视觉满意度”,它可以是正向。如果任务是“判断整体使用体验”,我们可能更关注上传失败,判为负向。如果任务允许多标签,也可以同时记录“界面满意”和“功能故障”。

三种答案不一定谁对谁错,因为它们回答的根本不是同一个问题。

所以,标注不是看到一句话就凭感觉选个标签。开始之前,要先定义:

  • 标注对象是什么:整段评论、一句话,还是评论中的某个片段?
  • 希望模型输出什么:情感、问题类型,还是具体实体?
  • 标签能不能同时出现:单选,还是多选?
  • 遇到含糊、讽刺、信息不足的内容,怎样处理?

先把任务定义清楚,再让人去标。 否则,标注人员看似都很认真,最后得到的数据却可能互相矛盾。

二、模型怎样利用标注数据

在监督学习中,可以把一条样本理解成一对数据:输入 x 和目标答案 y。训练时,模型产生预测 ŷ,训练程序计算预测与答案之间的损失,再据此调整模型参数。评估时,则使用未参与训练的样本检查模型的表现。这个基本过程可以参考 Google 的监督学习介绍。

仍以反馈分类为例:

1
2
3
4
5
6
7
8
原始输入 x:这款产品很好用。
人工标签 y:正向

训练程序把文本转换成模型可以处理的表示
→ 模型预测
→ 与人工标签比较
→ 计算损失
→ 更新参数

标注平台负责产出文本和对应的标注结果;分词、编码、损失计算、参数更新,由后续训练程序完成。

这里有两个容易混淆的地方。

第一,给数据打上标签,并不会自动让模型发生变化。只有把数据接入训练或评测流程,它才会被模型系统利用。

第二,训练目标不等于“记住所有标注”。我们真正希望的是:模型面对没见过的新评论,也能按照相同的业务规则作出判断。若它只对训练样本表现很好,实际使用时仍可能失败。

也不是所有机器学习都要求人工逐条标注。无监督学习可以发现数据结构,自监督学习可以从数据本身构造学习信号。本文聚焦的是需要明确业务答案的监督训练、评测和人工反馈场景。

三、为什么要做数据标注

1. 把业务要求变成可执行的标准

“识别有价值的反馈”是一个愿望,不是足够明确的任务定义。

如果把它拆成“功能故障”“使用建议”“体验表扬”等类别,并给出每类的边界、正例和反例,标注员才能稳定执行,模型训练也才有明确目标。

标签体系实际上是一种业务建模:它决定了系统关心哪些差异,又忽略哪些差异。

2. 提供可比较的评测答案

即使不打算训练自己的模型,只调用一个现成模型,也需要知道它在真实业务上表现怎样。

可以准备一批人工核验过的反馈,让模型独立分类,再统计误判发生在哪些类别、哪些表达方式上。没有可信的参考答案,“我试了几条,感觉还行”就很难变成可重复的评估。

例如,一套系统可能擅长识别直接表扬,却经常看不懂“可真好用啊,又崩了”这样的反讽。标注数据能够帮助我们把这种问题具体定位出来,而不是只得到一个笼统的整体分数。

3. 把经验留在数据里,而不只留在人脑里

某位熟悉业务的同事,可能一眼就能判断一条反馈的归属。但如果没有规范、样例和审核记录,这份经验很难交接,也很难在团队扩张后保持一致。

标注流程能把“他知道怎么判断”变成“我们知道按什么规则判断”。规则变化时,还能回头检查旧数据是否需要重标。

4. 为后续迭代提供具体证据

模型上线后发现的问题,可以整理成新的候选样本,经过脱敏、筛选、标注和审核后,再进入下一轮训练或回归评测。

但不要把每次出错的样本直接塞进训练集,然后继续在同一批样本上报告效果提升。那可能只是把考题提前交给了模型。

四、标注的不是只有分类标签

标注结果的形状,取决于任务要回答的问题。

标注任务 想回答的问题 结果通常包含什么
文本分类 这段话属于什么类别? 一个或多个类别标签
文本实体识别 哪一段文字是人名、地点等实体? 起止位置、实体类别、对应文本
图片目标检测 什么目标出现在图片的什么位置? 矩形框坐标、目标类别
图像分割 哪些像素属于这个目标? 像素掩码或轮廓
语音转写 这段声音里说了什么? 转写文本,必要时包括时间信息
回答偏好标注 哪个回答更符合要求? 候选回答的比较或排序

这些是不同任务,不是换一套标签名称就能互相替代。

例如,给整张照片标记“有汽车”,不能直接代替目标检测需要的汽车边界框;把一句话标为“包含地点”,也不能代替实体识别需要的具体文本位置。

后续实战使用的 Open Marker 当前实现了前三类。分割、语音和回答偏好标注不属于它当前已实现的功能。

五、什么样的标注数据才有用

规则一致,比操作速度更值得先解决

假设两个人分别标注同一段话,一个理解为“整体情感”,另一个理解为“是否提出建议”。即使每个人都完成一万条,也只是在更快地积累两套不同标准。

比较稳妥的做法是先做一小批试标,集中讨论分歧,把规则补清楚,再扩大规模。需要记录的不是一句“按实际情况判断”,而是可操作的边界:

同时出现表扬与故障描述时,如果任务关注整体使用阻碍,按负向处理;单纯询问功能、不表达态度的内容,不强行判断为正向。

这只是一个业务规则示例,不是所有情感分类任务的通用答案。

不要只挑最容易标的样本

“非常满意”“太差了”很好标,但真实反馈还会包含短句、错别字、反问、混合情感和行业表达。

在本例中,我会建议把这些情况分别纳入抽样检查,而不是只追求快速凑够总量。样本数量、类别覆盖和真实场景覆盖是不同维度,不能相互替代。

审核通过,不等于已经证明标签正确

“审核通过”首先是流程状态,表示审核人接受了这条结果。审核人也可能误判,或者与标注人共享同一种偏差。

因此,项目里的通过率不能直接叫作标注准确率。质量检查还可以包括负责人复核争议样本、随机抽检,以及在适合的任务中比较多人独立标注的一致性。后一种一致性检查也不能单独证明所有人都标对了。

训练集、验证集和测试集要各司其职

通常用训练集学习参数,用验证集选择方案,最后用保留的测试集评估。反复根据测试结果调方案,会削弱测试集作为独立检验的价值。关于这三者的分工,可参考 Google 的数据集划分说明。

在反馈场景中,还应检查同一段对话、同一事件的改写或近重复文本,是否跨集合出现。我更倾向于先明确业务中的独立单位,再选择按用户、会话、时间或其他分组划分;不能把某一种比例当作所有任务的固定答案。

划分之后,词表拟合、特征选择等会从数据中学习信息的步骤,也应避免接触测试答案或测试分布中的不应利用的信息。数据泄漏会使评估过于乐观,具体示例可参考 scikit-learn 的数据泄漏说明。

六、有了大模型,还需要人工标注吗

需要,但不意味着所有样本都必须从头手工处理。

大模型可以参与生成候选标签,人工负责核对和纠正。以人类反馈训练为例,InstructGPT 的研究使用了人工示范和对模型输出的排序;这说明人的判断不仅用于传统分类任务,也可以形成语言模型训练的监督信号。论文:Training language models to follow instructions with human feedback

在具体项目里,更重要的是不要把“模型给出了答案”误认为“答案已经被核实”。

一种可控的流程是:模型先生成预测,预测与人工标注分开保存,标注员决定是否采用,再进入提交和审核。这样既能追踪预测来源,也能避免新的预测覆盖已经完成的人工结果。

还有两点需要单独处理:模型给出的置信度不应未经验证就当成真实正确率;把数据发给外部模型之前,要确认服务是否可信、数据是否允许发送。

Open Marker 目前完成的是这条流程的接口适配与测试,并没有接入真实模型服务。因此,可以说“具备接入预标注的基础”,不能说“已经验证 AI 自动标注的效果”。

七、从标注数据到可交付的数据集

对个人实验来说,一个表格也能开始标注。但多人协作后,很快会遇到新的问题:谁在处理哪条数据?修改有没有保存?两个人同时提交会不会覆盖?被驳回的数据如何返工?导出的到底是哪一版?

标注平台的意义,是让这些问题有明确的处理路径:

1
2
3
4
5
6
定义任务与规范
→ 导入数据
→ 分配与标注
→ 审核,不通过则返工
→ 导出可追溯的结果
→ 在独立训练或评测流程中使用

其中,导出格式只是最后一层。一个 JSONL 文件即使语法完全正确,也可能包含不一致的标签、重复样本或未经审核的数据。

实务上,我会在交付前逐项确认:样本是否有可追踪的标识,标签含义和编号是否稳定,哪些数据经过审核,是否保留必要的版本信息,以及数据使用范围是否已经确认。检查结果应能被另一位同事复核,而不只是依赖作者口头保证。

写在最后

数据标注的价值,不在于让文件多一列标签,而在于把业务问题变成可学习、可评测、可复核的目标。

如果任务定义不清楚,平台只能帮我们更快地生产含糊的数据;如果规范、审核和交付机制都建立起来,即使先从很小的样本集开始,也能形成一条可迭代的工作流程。

下一篇:数据标注实战:用 Open Marker 跑通从原始文本到审核交付的完整流程。

作者

hujinbin

发布于

2026-09-20

更新于

2026-11-21

许可协议

评论