1. 春秋小年夜首页
  2. 综合资讯

加权最小二乘法详细推导,小白求问一下加权最小二乘法是啥

1、加权最小二乘法详细推导,小白求问一下加权最小二乘法是啥

加权最小二乘法详细推导,小白求问一下加权最小二乘法是啥

一丶小白求问一下加权最小二乘法是啥

呃,楼上是个广告男……

加权最小二乘(WLS)最一般的用法是克服异方差。比方说,现在有一个多元回归y = bX + e(矩阵表示,【X'】代表矩阵X转置)。原来的一般最小二乘(OLS)公式是
b = (X'X)^(-1) * X'y

而在异方差情况下,由于不满足OLS的五大假定,因此OLS的结果不再有效(not efficient,不是not valid)。因此相应的做法是将异方差矩阵分解,并左乘到回归模型中,得到的结果就是WLS回归。比如说,异方差阵为W,且W的逆可以分解为W^(-1) = P'P,那么经过一系列推导(略,可以找一本计量的课本,参考异方差相应章节),可以知道
b* = (X'P'PX)^(-1) * X'P'Py

换言之,正如题主所言,要用矩阵P去变换这个X和y,从而得到WLS回归,其中W矩阵里的元素,就是权重(weight)。 至于选择什么权重,就取决于W矩阵的设定形式。

举个简单的例子,设一个一元回归y = bx + e,而扰动项e的方差协方差阵W是一个对角矩阵,即W = diag(s1, s2, ..., sn),其中si代表第i个对角元,si ≠ sj
那么W^(-1) = diag(1/s1, 1/s2, ..., 1/sn)
如果用sqrt(a)表示a的开方,那么P矩阵就是P = diag(sqrt(1/s1), ... sqrt(1/sn))
从而说b* = Σ(xi * yi/si) / Σ(xi * xi/si)
可以看到,权重在这里是1/si,而对数据的变换方法是每个数据都乘以sqrt(1/si)

至于更复杂的设定形式(如 ln x 等),代表更复杂的方差协方差阵W的设定。这里不再展开。有兴趣可以参考计量经济学教材(如,伍德里奇的),有更详细的推导。

二丶什么是加权最小二乘法,它的基本思想是什么?

基本思想是要进行加权。一般最小二乘法将时间序列中的各项数据的重要性同等看待,而事实上时间序列各项数据对未来的影响作用应是不同的。一般来说,近期数据比起远期数据对未来的影响更大。因此比较合理的方法就是使用加权的方法,对近期数据赋以较大的权数,对远期数据则赋以较小的权数。

三丶加权最小二乘法推导公式?

Ax = b,P权阵求解时:x = (ATPA)-1*ATPb需要特意构建ATPA和ATPb

WAx = Wb求解时:令WA为A‘,Wb为b’A‘x=b’x = (A‘TA’)-1*A‘Tb’

两种的等价关系: P=WTW

后者更方便使用Eigen实现

原创文章,作者:admin,如若转载,请注明出处:http://cqxny.com.cn/2473.html

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息