残差の性質と証明 | LI techno  

残差の性質と証明

残差の性質

\begin{align}
\sum_{i=1}^{n}\hat{\epsilon _i} = 0 \tag{1}\\
\sum_{i=1}^{n}x_i \hat{\epsilon _i}=0 \tag{2}
\end{align}

この式の意味

前者は残差の総和が0、残差の平均値は0を意味します。
後者は説明変数\(x_i\)と残差\(\hat{\epsilon}\)は無相間であることを意味します。
理由は\(\sum_{i=1}^{n}x_i \hat{\epsilon _i}=\sum_{i=1}^{n}(x_i-\overline{x})(\epsilon _i -\overline{\epsilon})=0\)であるからです。

証明

まず(1)の証明をします。
$$\sum_{i=1}^{n}\hat{\epsilon _i} = 0 \tag{1}$$
\(\hat{\epsilon}=y_i-\hat{y_i}=y_i-(\hat{\beta _0}-\hat{\beta _1}x_i)=(y_i-\hat{y_i})-\hat{\beta _1}(x_i-\overline{x})\)だから、次の式変形が成立します。
$$\sum_{i=1}^{n}\hat{\epsilon}=\sum_{i=1}^{n}y_i-\hat{y_i}-\hat{\beta _1}\sum_{i=1}^{n}(x_i-\overline{x})=0-\hat{\beta _1}\times0=0 \tag{◇}$$

では次に(2)式の証明をします。
$$\sum_{i=1}^{n}x_i \hat{\epsilon _i}=0 \tag{2}$$
証明は、
\begin{align}
\sum_{i=1}^{n}x_i \hat{\epsilon _i} &= \sum_{i=1}^{n}x_i(y_i-\hat{y_i})\\
&= \sum_{i=1}^{n}\{(x_i-\overline{x})+\overline{x}\}\{(y_i-\overline{y})-(\hat{y_i}-\overline{y})\}
\end{align}

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です