30秒でわかる要点
入力と出力の関係を直線（一次式）で表し、数値を予測する回帰の手法。予測値と実測値の差の二乗和を最小にする最小二乗法でパラメータを求める。入力が複数のものを重回帰分析という。
「線形回帰」の練習問題
当サイトの練習問題から、この用語に関係する問題をピックアップしました。
Q1線形回帰において、目的関数として最小二乗法を使用する場合、最小化される値は何か。
- 予測値と実際値の絶対値の合計である
- 予測値と実際値の二乗誤差の合計である
- 予測値と実際値の相関係数である
- 訓練データのバリアンスである
答えと解説を見る
正解：B
最小二乗法は誤差の二乗和を最小化する方法。A は MAE（平均絶対誤差）。C は相関係数で最適化対象ではない。D はデータのばらつきで目的関数ではない。
Q2線形回帰で複数の説明変数があるとき、説明変数間の強い相関をマルチコリニアリティという。この問題が起こると、次のうち最も深刻な影響は何か。
- モデルの係数推定値が不安定になり、予測精度が低下する
- 訓練データに対する誤差が増加する
- 計算アルゴリズムが収束しなくなる
- 目的変数の分散が増加する
答えと解説を見る
正解：A
マルチコリニアリティにより、正規方程式の逆行列計算が不安定になり、係数の標準誤差が大きくなる。小さなデータ変動でも係数が大きく変わり、汎化性能が低下。B,C,D は直接的な影響ではない。
Q3回帰問題に対する正規化線形回帰（Ridge回帰）について、正則化パラメータ λ の値を大きくするとどのような変化が起こるか。
- 係数はより小さい値に制約され、モデルは単純になるが予測精度が低下する可能性がある
- 訓練誤差は増加し、汎化誤差は必ず減少する
- 特徴量の数が自動的に削減される
- 計算複雑度が指数関数的に増加する
答えと解説を見る
正解：A
λ が大きいほど係数に対するペナルティが強くなり、係数は0に近づく。モデル複雑度は下がるが、バイアスが増加し、精度が低下する可能性。
機械学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。
機械学習の練習問題を解く