线性回归例题解析

例题

1. 线性回归方程

设使用年限为$x$,维修费用为$y$,列出回归方程

$$y=wx+b$$

考虑到该方程是线性回归方程,可以求出解析解

设估计值$\hat{y_i}=wx_i+b,i\in [1,5]$

得到平方损失函数,其中$n = 5$

$$Loss=\frac{1}{2} \sum\limits_{i=1}^{n}(y_i-\hat{y_i})^2=\frac{1}{2} \sum\limits_{i=1}^{n}(y_i-wx_i-b)^2$$

为了计算平方损失函数的最小值,对其求偏导,并令偏导数为零.实际上,这就是简单的求多元函数极值的问题

$$\begin{array}{ll} \frac{\partial Loss}{\partial w}=\sum\limits_{i=1}^{n}(-x_i)(y_i-wx_i-b)=0 \\\\ \frac{\partial Loss}{\partial b}=\sum\limits_{i=1}^{n}(-1)(y_i-wx_i-b)=0 \end{array}$$

由于对$b$的偏导数系数为$(-1)$,比较好求,因此我们先求出$b$的表达式

对$b$的偏导数化简,得

$$\sum\limits_{i=1}^{n}b=bn=\sum\limits_{i=1}^{n}y_i-w\sum\limits_{i=1}^{n}x_i$$

所以

$$b=\frac{\sum\limits_{i=1}^{n}y_i-w\sum\limits_{i=1}^{n}x_i}{n}=\bar{y}-w\bar{x}$$

再对$w$的偏导数化简,得

$$\sum\limits_{i=1}^{n}x_iy_i=w\sum\limits_{i=1}^{n}x_i^2+b\sum\limits_{i=1}^{n}x_i$$

代入已经算出来的$b$,得

$$\sum\limits_{i=1}^{n}x_iy_i=w\sum\limits_{i=1}^{n}x_i^2+\frac{\sum\limits_{i=1}^{n}x_i\sum\limits_{i=1}^{n}y_i-w\left (\sum\limits_{i=1}^{n}x_i \right )^2}{n}$$

左右同乘$n$,得

$$n\sum\limits_{i=1}^{n}x_iy_i=nw\sum\limits_{i=1}^{n}x_i^2+\sum\limits_{i=1}^{n}x_i\sum\limits_{i=1}^{n}y_i-w\left (\sum\limits_{i=1}^{n}x_i \right )^2$$

所以

$$\begin{array}{ll} w&=\frac{n\sum\limits_{i=1}^{n}x_iy_i-\sum\limits_{i=1}^{n}x_i\sum\limits_{i=1}^{n}y_i}{n\sum\limits_{i=1}^{n}x_i^2-\left (\sum\limits_{i=1}^{n}x_i \right )^2} \\\\ &=\frac{\sum\limits_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum\limits_{i=1}^{n}(x_i-\bar{x})^2} \end{array}$$

代入数据,计算得$\begin{pmatrix} w \cr b \cr \end{pmatrix}=\begin{pmatrix} 1.23 \cr 0.08 \cr \end{pmatrix}$

所以得到线性回归方程$y = 1.23x+0.08$

2. 维修费用估计

$$\bar{y}|_{x=10}=(1.23x+0.08)|_{x=10}=12.38$$