方差、协方差、标准差、均方差、均方根误差以及均方根值对比

本文最后更新于:3 years ago

由于研究中涉及到了对实验结果的处理和统计,发现自己对于均方差和均方根值的概念记忆非常模糊,故搜集了描述统计量的偏差的几个关键值的资料,并加入个人的理解记录在此。

方差(Variance)

方差通常用来用于衡量一组随机变量或统计变量的离散程度。

概率论中方差计算方法

在随机变量中,方差用于度量随机变量和其数学期望之间的偏离程度。

  1. 对于连续型随机变量,其数学期望:
  2. 对于离散型随机变量,其数学期望: 其中,$x_i$是变量,$p_i$是$x_i$发生的概率,$f(x)$是$x$的概率密度函数。
    方差的求法如下:

    统计学中方差计算方法

    总体方差,也称有偏估计,即度量统计中每一个量的离散程度。
    计算方法,先求所有量的均值:其中,$x_1+x_2+\ldots+x_n$表示每一个的值,方差公式为:样本方差,也称无偏估计,即通过度量样本的离散程度来估计总体的离散程度,方差计算方法如下:为什么将分母由$n$变为$n-1$即令其为无偏估计误差,参考文章《为什么样本方差(sample variance)的分母是 n-1?》

协方差(Covariance)

协方差在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是同一变量的情况。
协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反,即其中一个大于自身的期望值,另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。
概率论中:

其中$E[X]$和$E[Y]$分别是X和Y的数学期望;

统计学中:

标准差(Standard Deviation)

标准差也被称为标准偏差,在中文环境中又常称均方差,是数据偏离均值的平方和平均后的方根,用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度,只是由于方差出现了平方项造成量纲的倍数变化,无法直观反映出偏离程度,于是出现了标准差,标准偏差越小,这些值偏离平均值就越少,反之亦然。
总体标准差

其中$\mu$代表总体X的数学期望。
样本标准差

其中$\bar X$代表样本$X_1,X_2,\ldots,X_n$的均值。

均方误差(Mean-Square Error, MSE)

均方误差是反映估计量与被估计量之间差异程度的一种度量,换句话说,参数估计值与参数真值之差的平方的期望值。MSE可以评价数据的变化程度,MSE的值越小,说明预测模型描述实验数据具有更好的精确度。

均方根误差(Root Mean Squared Error,RMSE)

均方根误差亦称标准误差,是均方误差的算术平方根。换句话说,是观测值与真值(或模拟值)偏差(而不是观测值与其平均值之间的偏差)的平方与观测次数n比值的平方根,在实际测量中,观测次数n总是有限的,真值只能用最可信赖(最佳)值来代替。标准误差对一组测量中的特大或特小误差反映非常敏感,所以,标准误差能够很好地反映出测量的精密度。这正是标准误差在工程测量中广泛被采用的原因。因此,标准差是用来衡量一组数自身的离散程度,而均方根误差是用来衡量观测值同真值之间的偏差。

均方根值(Root-Mean-Square,RMS)

均方根值也称作为方均根值或有效值,在数据统计分析中,将所有值平方求和,求其均值,再开平方,就得到均方根值。在物理学中,我们常用均方根值来分析噪声。

举个例子:比如幅度为100V而占空比为0.5的方波信号,如果按平均值计算,它的电压只有50V,而按均方根值计算则有70.71V。这是为什么呢?举一个例子,有一组100伏的电池组,每次供电10分钟之后停10分钟,也就是说占空比为一半。如果这组电池带动的是10Ω电阻,供电的10分钟产生10A 的电流和1000W的功率,停电时电流和功率为零。


All articles in this blog, unless otherwise stated, adopt CC BY-SA 4.0 agreement, please indicate the source for reprinting!

 TOC