大数跨境

如何判断和检测异常值

如何判断和检测异常值 商业分析家Suri
2023-04-18
9
导读:如何判断数据的波动幅度的大小和数据的异常程度?通常使用两种方法:三倍标准差判别法和Tukey's Test。

如何判断数据的波动幅度的大小和数据的异常程度?通常使用两种方法:三倍标准差判别法和Tukey's Test。

这里使用通俗简单的方式来解释这两种方法。

一、三倍标准差判别法

这种方法是观察数据是否落在历史数据平均值的“正负三倍标准差”范围之内。其中,方差和标准差是判断数据波动性的两个指标。

方差是一组数据与该组数据平均值之差的平方数的平均值。
标准差其实就是方差的平方根,通常用σ来表示。
  1. 如果数据在平均值的正负一倍标准差(1σ)范围之内波动,则视为正常波动。

2. 如果数据在平均值的正负一倍标准差(1σ)范围之外,并且在两倍标准差(2σ)的范围内波动,则视为普通异常波动数据。

3. 如果数据在平均值的正负二倍标准差(2σ)范围之外,并且在三倍标准差(3σ)的范围内波动,则视为中度异常波动数据。

4. 如果数据在平均值的正负三倍标准差(3σ)范围之外,则视为严重异常波动数据。


举个例子来说,某公司2022年1月1日到1月15日的收入数据(单位:万元),见下表。

通过上表数据,可以求出平均值=35,标准差σ=11.3。平均值的正负一倍标准差(1σ)范围为23.7-46.3之间。平均值的正负两倍标准差(2σ)范围为12.4-57.6之间。平均值的正负三倍标准差(3σ)范围为1.1-68.9之间。

  1. 若1月16日收入数据为40万,那么1月16日数据在1σ范围之内,属于正常数据。

2. 若1月16日收入数据为50万,那么1月16日数据在1σ-2σ范围之间,属于普通异常数据。

3. 若1月16日收入数据为60万,那么1月16日数据在2σ-3σ范围之间,属于中度异常数据。

4. 若1月16日收入数据为80万,那么1月16日数据在3σ范围之外,则属于严重异常数据。


二、Tukey's Test法

这种方法是利用四分位数判断异常值的一种方法。其判断方法如下:

  1. 需要计算数据的下四分位数(用Q1表示)和上四分位数(用Q3表示)。

2. 需要根据四分位数估算出一组数据可能的异常最大值和最小值。

最大值估算公式为:Q3+k(Q3-Q1)。
最小值估算公式为:Q1-k(Q3-Q1)。

当某数据超过估算的这个最大值或低于最小值时代表异常。

k可以取1.5或3。当k=1.5时,代表中度异常;当k=3时,代表极度异常。


还是以上面的例子说明,某公司2022年1月1日到1月15日的收入数据(单位:万元),见下表。

通过上表数据,可以求出Q3=39,Q1=30,Q3-Q1=9。当k=1.5时,最大值估计为52.5,最小值估计为16.5,那么收入的阈值范围在16.5-52.5之间。当k=3时,最大值估计为66,最小值估计为3,那么收入的阈值范围在3-66之间。

  1. 若1月16日收入数据为60万,那么1月16日数据属于中度异常。

2. 若1月16日收入数据为80万,那么1月16日数据属于极度异常。


三、注意问题

通常上述两种方法只是通过波动幅度的大小判断数据是否异常,数据超过一定范围的大幅波动会被认为异常。

但在实际业务场景中,数据波动大幅波动的原因很复杂,大幅波动并不一定代表异常。比如底层数据口径的变化、周期性波动、不可抗力影响等,这些因素都会导致数据大幅波动,但是数据却不属于异常的范畴。

所以,在进行异常值判断的时候,我们要综合考虑技术和业务场景,及时识别数据口径、周期性波动和不可抗力带来的数据波动。遇到这些情况,我们只需要做好及时通知和持续监测就可以,不需要做预警处理。


【声明】内容源于网络
0
0
商业分析家Suri
1234
内容 287
粉丝 0
商业分析家Suri 1234
总阅读2.2k
粉丝0
内容287