1000 张域内标注 → 训练分类头 → 留出 400 张评估

训练:vtennis_lei_v0 抽样 1000 张,Opus 5 标注 + 人工分层复核 · 测试:vlmcmp 留出 400 张人工标注,全流程从未见过
63.5%H3 b33 最佳头
71.8%Claude Opus 5
−8.3百分点差距
27.0%此前跨域迁移
32.5%多数类
结论:域内标注把这条路救活了,但还没赢。 从跨域迁移的 27.0%(低于随机)提升到 63.5%,翻了一倍多 —— 域内标注确实有效。但仍比给它打标签的 Opus 5 低 8.3 个点, 学生没有超过老师。就当前状态而言,直接用 Opus 5 标注仍是更优选择。

横向对比(同一批 400 张)

方法准确率说明
Claude Opus 571.8%零样本 VLM
GPT-5.564.0%零样本 VLM
全部1000 · mean+traj63.5%训练 1000 张
全部1000 · 类别加权63.2%训练 1000 张
全部1000 · 仅mean+加权61.8%训练 1000 张
全部1000 · 仅mean61.3%训练 1000 张
Qwen3.6-27B (本地部署)55.7%零样本 VLM
仅人工审核416 · mean+traj54.0%训练 416 张
仅人工审核416 · 类别加权53.2%训练 416 张
多数类32.5%
两个和直觉相反的发现。
① 类别加权无效(−0.2 点)。训练集 43.7% 是 other、测试集只有 20.8%, 本以为先验不匹配是瓶颈 —— 不是。
② 只用人工审核的 416 张反而暴跌 9.5 点(63.5% → 54.0%)。 这条最有信息量:数据量 > 标签质量。416 张高质量标签打不过 1000 张含噪标签, 说明瓶颈是样本不足而非标签噪声 —— 要提升就得扩量,不是提纯。
③ 轨迹特征有效:mean+traj 比仅 mean 高 2.2 点。

标注质量(1000 张是怎么来的)

任务 / 层审核数修正数修正率
hitting:audit16531.8%
hitting:must512367.0%
stroke4:audit16531.8%
stroke4:must51212223.8%
分层规则(镜像不一致 + 低置信)非常准: stroke4 的 must 层修正率 23.8%,audit 层只有 1.8%,错误密度差 13 倍。 未审的 323 张估计残余错误约 6 个(95%CI 2–17), 即最终标注集准确率 98.3%–99.4%。

QC:100 张已知答案上,Opus 5 原始一致率 83.0%, 人工复核后 86.0%。

H3 头赢 Opus 5 的(53 张)

真值 正手Opus5 反手H3头 正手
真值 正手Opus5 反手H3头 正手
真值 正手Opus5 发球H3头 正手
真值 正手Opus5 其他H3头 正手
真值 正手Opus5 -H3头 正手
真值 正手Opus5 其他H3头 正手
真值 发球Opus5 其他H3头 发球
真值 正手Opus5 其他H3头 正手
真值 其他Opus5 反手H3头 其他
真值 其他Opus5 反手H3头 其他
真值 正手Opus5 -H3头 正手
真值 发球Opus5 其他H3头 发球
真值 正手Opus5 其他H3头 正手
真值 反手Opus5 -H3头 反手
真值 反手Opus5 -H3头 反手
真值 其他Opus5 -H3头 其他
真值 反手Opus5 正手H3头 反手
真值 反手Opus5 正手H3头 反手

Opus 5 赢 H3 头的(74 张)

真值 反手Opus5 反手H3头 正手
真值 反手Opus5 反手H3头 其他
真值 反手Opus5 反手H3头 正手
真值 反手Opus5 反手H3头 正手
真值 反手Opus5 反手H3头 正手
真值 反手Opus5 反手H3头 正手
真值 发球Opus5 发球H3头 其他
真值 反手Opus5 反手H3头 正手
真值 正手Opus5 正手H3头 发球
真值 反手Opus5 反手H3头 正手
真值 反手Opus5 反手H3头 其他
真值 正手Opus5 正手H3头 其他
真值 正手Opus5 正手H3头 反手
真值 反手Opus5 反手H3头 正手
真值 反手Opus5 反手H3头 正手
真值 反手Opus5 反手H3头 正手
真值 正手Opus5 正手H3头 发球
真值 正手Opus5 正手H3头 发球

两个都错的(72 张)

共同盲区,最值得看有没有共同模式。
真值 正手Opus5 其他H3头 其他
真值 正手Opus5 发球H3头 发球
真值 正手Opus5 其他H3头 其他
真值 正手Opus5 发球H3头 反手
真值 其他Opus5 -H3头 反手
真值 其他Opus5 反手H3头 反手
真值 正手Opus5 其他H3头 其他
真值 其他Opus5 反手H3头 反手
真值 正手Opus5 -H3头 发球
真值 其他Opus5 正手H3头 正手
真值 发球Opus5 其他H3头 其他
真值 其他Opus5 反手H3头 反手
下一步的判据很清楚。 既然瓶颈是数据量,把训练集从 1000 扩到 3000–5000 张是唯一确定有效的动作。 若扩到 3000 仍推不过 71.8%,就应当承认 Opus 5 直接标注是更优路径, H3 特征退居「给 VLM 不确定样本做二次判别」。