高阶应用 · 教程目录
预测复盘:命中率之外,还要看哪几个数
本篇目标:命中率是最容易被记住也最容易骗人的指标。判断一套预测是否可靠,要同时看 Brier、log loss、RPS 和校准曲线;判断一次介入是否占优,还要看 CLV。
为什么命中率不够
假设一套预测只挑赔率最低的大热门,命中率能到 65%–70%,但这类预测几乎没有信息增量:市场早就这么定价。命中率衡量“对了几场”,不衡量“概率给得准不准”,也不衡量“价格有没有优势”。
所以复盘要分两层:概率层看校准,决策层看价格。
四个概率指标
| 指标 | 算的是什么 | 怎么读 |
|---|---|---|
| Brier score | 预测概率与真实结果(0/1)的平方误差均值,多分类时对三类求和 | 越小越好;0.50 左右接近“瞎猜”,0.48 以下算有信息 |
| Log loss | 对正确类别取 −log(概率) 的均值 | 对过度自信惩罚重,给 95% 却错了会很难看 |
| RPS | 按累计概率差计算的排序概率分数,足球文献常用 | 对胜平负三类敏感,适合和公开研究对比 |
| 校准曲线 | 按预测概率分桶,比较预测均值与实际频率 | 看是否长期高估;斜率偏离 1 说明过度自信或不足 |
四者不能互相替代。Brier 综合,log loss 惩罚过度自信,RPS 便于横向比较,校准曲线告诉你偏差方向。
示例:三种模型怎么对照
下面是一组教学示例数字,不是本站实测结果,只用来说明读法。
| 对象 | Brier | Log loss | 命中率 | 校准斜率 |
|---|---|---|---|---|
| 模型 A(未校准) | 0.52 | 0.91 | 58% | 0.82,偏过度自信 |
| 模型 B(校准后) | 0.49 | 0.86 | 60% | 0.95,接近理想 |
| 市场共识 | 0.48 | 0.84 | 61% | — |
读法:B 比 A 好,不是因为命中率高 2 个百分点,而是因为概率质量更好、校准更接近 1。B 与市场差距很小,说明在这个样本上模型没有明显优势,也没明显劣势。
决策层:CLV 与成本
CLV(Closing Line Value)比较你拿到的小数赔率与临场收盘赔率。一个常见口径是“早期小数 ÷ 收盘小数 − 1”,例如 2.10 对 2.00 记 +5%。它衡量的是介入时点是否占优,不是实际收益。
成本也要算进去。市场抽水通常在 5%–10%,意味着 70% 的命中率在扣除抽水后,长期期望仍可能为负。任何只报命中率、不报价格与成本的复盘,都不完整。
我们怎么记
- 赛前锁定:记录时间点、概率、主要依据、当时的未知信息。
- 赛后对照:结算结果,算 Brier 与 log loss,不改原始记录。
- 滚动统计:按联赛、按概率区间、按月份分别算,避免全局平均掩盖局部问题。
- 版本对照:同一场比赛用新旧两版模型各跑一次,比较差异来源。
这套记录在复盘账本里公开,输的场次照样留着。只展示赢的场次,等于没有复盘。
样本要多大
概率模型的差异通常只有 0.01–0.03 Brier。以这个量级,几十场的结果差异基本是噪声;三位数场次也只能看方向;要确认一个改进,往往需要跨赛季的滚动验证。看到“最近 10 场全中”就改模型,是最典型的过拟合。
常见问题
1. 命中率高就一定好吗?
不一定。只挑大热门能把命中率做到 70%,但概率质量差、长期收益仍然可能是负的。命中率要和概率指标一起看。
2. 多少场样本才能下结论?
三位数的场次也只能看方向。概率模型的差异通常很小,几十场的结果差异多半是噪声。
相关链接
90edge 方法教程 · 讲口径与边界,不承诺赛果。
来源:90edge 学习中心 · 预测复盘:命中率之外,还要看哪几个数