I1 / I2 / I3 — 把动作分解图当指引
★
换模型复现了:Opus 5 用同一套分解图 +0.048(p=0.013),且每千张比 Astra 便宜 19%:
看这一页
这一轮有效。把 USTA 的动作分解图作为参考喂给 Astra,四类准确率从
0.693 → 0.792(clear 子集),
超过此前所有方案,包括 combo(Astra高推理+Opus5,0.755)—— 而 I1 用的是 Astra 默认档、不开推理、单模型单次调用。
但加图不是越多越好:I3 补了 serve 和 volley 两张,反而掉到
0.727 —— 原因见下。
其它页:
几何探针(旧规范) ·
过中线三方对比 ·
A1 逐图
成绩(eval400 · clear 子集 355 张,与此前所有轮次同口径)
| 方案 | clear acc | 全体 acc | 正反手 | macro F1 |
| I1 · 三张七阶段分解条(Astra) | 0.792 | 0.757 | 0.671 | 0.767 |
| I2 · 三张完整教学页(Astra) | 0.772 | 0.750 | 0.671 | 0.763 |
| I3 · 五张分解条(+serve +volley) | 0.727 | 0.705 | 0.595 | 0.720 |
| combo(Astra高推理+Opus5)· 此前最佳 | 0.755 | — | — | — |
| Opus 5 p1 | 0.730 | 0.688 | — | — |
| Astra 高推理 p1 | 0.718 | — | — | — |
| Astra p1 · 同模型文字基线 | 0.693 | 0.662 | 0.544 | 0.673 |
I1 vs 同模型文字基线:+0.095,救 53 / 坏 15,McNemar p=4e-06
I1 vs 此前最佳单模型 Opus 5:+0.062,救 53 / 坏 31,p=0.021
增益来自哪里:正手不再被丢进 other
| 类别 | 真值数 | p1 召回/精度 | I1 召回/精度 | I3 召回/精度 |
| forehand | 130 | 0.385 / 0.820 | 0.592 / 0.819 | 0.508 / 0.846 |
| backhand | 107 | 0.738 / 0.790 | 0.766 / 0.901 | 0.701 / 0.893 |
| serve | 80 | 0.825 / 0.825 | 0.912 / 0.849 | 0.887 / 0.835 |
| other | 83 | 0.843 / 0.440 | 0.855 / 0.555 | 0.843 / 0.467 |
每一类精度都没掉,四类里三类召回上升 —— 不是先验漂移。
基线把 56 张正手判成了 other,I1 降到 40 张。
机制:单帧拍到的是准备姿势或随挥收尾时,文字规则里的"掌心领先穿过球"根本不成立,模型就归到 other。
分解条把"正手"展示成一个完整的形状序列,模型于是能认出"这一格属于正手这条序列",
而不必要求这一帧自身满足击球定义。反手精度 0.790→0.901 是同一个机制的副产品:other 不再吸走正手。
I3 加了 serve 和 volley 两张图,反而退步 0.065。vs I1:
救 13 / 坏 34,p=0.003(vs 文字基线仍 +0.042,但 p=0.05 勉强)。
原因是 volley 那张图,一查就清楚:I3 把
78 张判成了 volley,而其中真值确实是
other 的
只有 11 张(14.1%) —— 另外
46 张是真正的正手底线球、20 张是反手。
| 那 78 张上 | 答对 |
| I1(没看过 volley 图) | 28 / 78 = 35.9% |
| I3(判成 volley) | 11 / 78 = 14.1% |
I3 相对 I1 净损失的 18 张,全部来自这一批。剩下 322 张上两者几乎持平(I1 0.854 · I3 0.842)。
反证:把 I3 的 volley 答案强行替换成 I1 的答案,I3 从 0.705 回到
0.748。
serve 那张图也没帮上忙:serve 召回 0.912(I1,没给图)→ 0.887(I3,给了图),反而略降。
教训:给一个类配参考图,会让模型更倾向于用这个类。当这个类在真值里很稀少
(截击只占
other 的一小部分),倾向性带来的误报远超它修好的漏报。
我在 prompt 里已经明写了"正手截击是 volley 不是 forehand、判据看挥拍幅度不看站位",
仍然挡不住。
更详细反而更差。I2 塞了握拍特写和文字要点,clear acc 比 I1 低 0.020,输入 token 多 60%
(4444 vs 2216/张,$20.5 vs $12.8)。I1 更准也更便宜。
单反 / 双反:两轮独立运行,在都判为反手的 74 张上对"单反 vs 双反"一致率 100%,
分布双反 71 / 单反 20。但 stroke4 真值只有 backhand —— 这一层没有人工真值,一致不等于正确,
要坐实得补标注。
喂给模型的参考图
I1 用前三条;I3 = I1 + 发球 + 截击(共五条);I2 用最下面的完整教学页。长边均 1100px。
I1 · 正手
I1 · 单手反手
I1 · 双手反手
I3 追加 · 发球(6 阶段)
I3 追加 · 截击(4 阶段 × 正反两侧)—— 图上印的 FOREHAND / BACKHAND 只说明打在哪一侧,两边都是截击;这正是 I3 退步的源头
I2 · 正手
I2 · 单手反手
逐图查验