最小二乗法による線型回帰モデルと推定不可能なケースの説明

この問題では、最小二乗法による線型回帰モデルにおける特定の条件下での推定不可能性について解説します。特に、変数間の相関が±1である場合に最小二乗法が適用できない理由を数式を用いて説明します。

問題の整理と線型モデルの定義

まず、与えられた線型モデルは以下のように表されます。

このようなモデルで、最小二乗法を使ってパラメータβ0, β1, β2を推定する際に、なぜ推定ができないのかを見ていきます。

最小二乗法は、誤差の二乗和を最小化する方法です。線型回帰モデルにおいて、これを行うためには、以下の正規方程式を解く必要があります。

y = Xβ + ε という形の線型モデルを考えた場合、最小二乗法の解は次の式で与えられます。

β = (X^T X)^(-1) X^T y

ここで、Xは説明変数の行列、βは推定されるパラメータベクトル、yは目的変数のベクトル、εは誤差項です。

ρx1x2 = ±1 の場合、説明変数 xi1 と xi2 の間に完全な相関が存在します。この状態では、X^T X の行列式がゼロになるため、逆行列が存在しなくなります。

その結果、最小二乗法を使ってβを推定することができません。これを線型代数的に言うと、行列 X^T X が特異行列（逆行列を持たない行列）であるため、最小二乗推定ができないのです。

具体的に考えてみましょう。もしρx1x2 = 1であれば、xi1 と xi2 は完全に一致していることを意味します。この場合、X行列は重複する列を持つことになり、X^T X の行列式はゼロになり、逆行列が求められなくなります。逆行列が求められないと、最小二乗法による推定は不可能となります。

この問題を通じて、最小二乗法による線型回帰モデルの推定が、説明変数間の相関が高すぎる（±1）場合にうまく機能しないことを学びました。完全な相関がある場合、行列が特異行列となり、逆行列が存在しないため、推定値を求めることができません。このような場合、別の推定方法を検討する必要があります。