平均绝对百分比误差 (MAPE) 已经完成了它的使命,现在应该退休了

博客

平均绝对百分比误差 (MAPE) 已经完成了它的使命,现在应该退休了

根据 Gartner(2018 年 Gartner 销售& 运营规划成功调查),销售和运营规划中最常用的预测评估指标是平均绝对百分比误差(MAPE)。这种情况必须改变。现代预测涉及产品-地点-日期等细分层面的小数量。对于如此精细的预测,MAPE 值极难判断,因此不符合有用的预测质量指标的要求。MAPE 还严重误导用户,既夸大了某些问题,又掩盖了另一些问题,诱导用户选择有系统性偏差的预测。适合 MAPE 的情况越来越少。这不是枯燥的理论:我们模拟了一家依靠 MAPE 优化预测值进行补货的超市。快销品和滞销品存货不足或过剩,很快就会使商店关门大吉。

当绝对误差和相对误差发生矛盾时,我们应该相信谁?

你预测需求量为 7.2 个苹果,最终售出 9 个。您预测的水量为 91.8 瓶,售出 108 瓶。你预测有 1.9 罐金枪鱼,结果卖出了一罐。如何判断这些预测误差?一种直接的方法是计算预测值与实际值的绝对偏差,然后除以实际值,即相对绝对误差,也可以是百分比值(绝对百分比误差,APE)。读起来比实际情况要复杂得多:把 APE 作为 "预测质量评估 "的第一炮是非常典型的。在这三个例子中,您可以得到看似适中的 20% (=|7.2-9|/7.2)、谦虚 15% (=|91.8-108|/108)和令人震惊的 90% (=|1.9-1|/1)、分别是MAPE 即平均绝对百分比误差,是这三个百分比的算术平均值,为 41.67% 。这些误差百分比表明,对金枪鱼的预测不如对苹果的预测,而对瓶子的预测则优于其他预测。但这是否真正反映了预报质量?再看看本节的开头--预测水瓶数与实际水瓶数之间的巨大绝对差异令人担忧,而其微小的相对误差也无法让人真正放心。另一方面,金枪鱼的 90% 误差可能是随机(坏)运气造成的--这只相当于一个项目。您是否应该对直觉保持沉默,盲目地依赖 APE?因此,您是否应该修改金枪鱼预报,而维持水域预报不变?如果发布的另一个预报的总体 MAPE 只有 30% ,新的预报是否一定更好?

当然,在任何情况下,我都不会严肃地要求你们忽视人类的判断力!这一令人不快的悖论将在下文中得到解决:MAPE 不适合用于粒度级的现代概率预测(即产品-地点-日,"小 "数字甚至 "0 "都有可能出现),原因是存在几个无法容忍和解决的问题。预测的 MAPE 并不能说明预测有多好,而只能说明 APE 的表现有多奇怪。

有意识地忽略比例:当百分比误差有意义时

在深入研究零售业的细粒度预测(产品-地点-日级别)之前,让我们假设预测一个大得多的数量:以美元计算的各国年度国内生产总值(GDP)。这种预测可用于确定整个国家的政策,而这些政策应同样适用于不同规模的国家。因此,在这种情况下,对每个国家的权重一视同仁是公平的:美国 GPD(约 25 万亿美元)的 5% 误差与图瓦卢 GPD(约 6600 万美元,是美国 GDP 的 38 万倍)的 5% 误差同样严重。在这里,绝对百分比误差 (APE) 是有意义的:实际 GDP 永远不会接近 0(除以 0 时会让人非常头疼,这一点我将在下文讨论),而预测的目的并不是要正确预测全球的总体 GDP,而是要尽可能接近每个国家的 GDP,误差范围从数百万到数万亿不等。最小化模型的总绝对误差(即误差以美元为单位,而不是百分比)使最大的经济体成为焦点,而忽略了小经济体。它不是对每个国家进行平均加权,而是根据其经济实力进行加权。按美元绝对值计算,一个美国国内生产总值误差为 3% 而图瓦卢国内生产总值误差为 200% 的模型,似乎比一个美国国内生产总值误差为 4% 而图瓦卢国内生产总值误差为 10% 的模型 "更好"。而 MAPE 则表明应采用后一种预测方法,即牺牲美国国内生产总值的绝对准确性(1% 25 万亿美元),换取图瓦卢国内生产总值准确性的小幅绝对提高(190% 6600 万美元)。美国的 GPD 比图瓦卢的大得多,但人们会有意识地、有充分理由地决定对它们一视同仁。美国和图瓦卢都可以被视为 "大 "地区,因为我们不能指望统计波动或 "坏运气 "会导致预报误差--也就是说,偏差通常在统计上是显著的,并指向模型改进的潜力。

总之,只要对不同数值的单个预测实例一视同仁,也就是说,只要我们可以将巨大的苹果与微不足道的桔子进行比较,MAPE 就有意义。但是,一视同仁就一定公平吗?

正在加载组件...

正在加载组件...

正在加载组件...