線形回帰モデルには、単回帰分析（Simple Linear Regression） と 重回帰分析（Multiple Linear Regression） 以外にも、以下のような発展的な手法があります。

---

1. 単回帰分析（Simple Linear Regression）

• 説明変数（特徴量）が1つ の場合の線形回帰。
• 直線の方程式（y=w0+w1x+ϵy = w_0 + w_1x + \epsilon）を使う。

---

2. 重回帰分析（Multiple Linear Regression）

• 説明変数が2つ以上 の場合の線形回帰。
• 例：住宅価格予測（面積・部屋数・築年数などを考慮）。

---

3. リッジ回帰（Ridge Regression）

• 過学習を防ぐために「L2正則化」を導入した線形回帰。
• 回帰係数の大きさを制限し、モデルの汎化性能を向上させる。
• 数式： min⁡∑(yi−y^i)2+λ∑wj2\min \sum (y_i – \hat{y}_i)^2 + \lambda \sum w_j^2 ここで、λ\lambda は正則化パラメータ。

---

4. ラッソ回帰（Lasso Regression）

• 「L1正則化」を導入した線形回帰。
• 特徴量の重要度を自動選択し、不要な特徴量の係数を0にする（変数選択の効果）。
• 数式： min⁡∑(yi−y^i)2+λ∑∣wj∣\min \sum (y_i – \hat{y}_i)^2 + \lambda \sum |w_j|

---

5. エラスティックネット（Elastic Net）

• リッジ回帰（L2正則化）とラッソ回帰（L1正則化）を組み合わせた手法。
• 適切なバランスを取ることで、特徴量選択と過学習防止を両立。

---

6. ロバスト回帰（Robust Regression）

• 外れ値に対して頑健な回帰モデル。
• 最小二乗法（OLS）ではなく、重み付き最小二乗法（WLS）や Huber 回帰を使用。

---

7. 主成分回帰（Principal Component Regression, PCR）

• 次元削減（PCA）を行った後に回帰分析を適用する手法。
• 高次元データで多重共線性を防ぐために利用。

---

8. 偏最小二乗回帰（Partial Least Squares Regression, PLS）

• 主成分回帰（PCR）に似ているが、目的変数（y）との相関を考慮して次元削減を行う。
• データが少なく、多重共線性がある場合に有効。

---

9. 分位点回帰（Quantile Regression）

• 平均値ではなく、分位点（中央値やパーセンタイル）を予測する回帰。
• 例：収入の中央値を予測するなど。

---

10. 正則化最小二乗法（Ordinary Least Squares, OLS）

• 通常の最小二乗法（普通の線形回帰） だが、データの分布に適応するバージョンもある。

---

まとめ

モデル名	特徴
単回帰分析	説明変数が1つ
重回帰分析	説明変数が2つ以上
リッジ回帰	L2正則化（過学習防止）
ラッソ回帰	L1正則化（変数選択）
エラスティックネット	L1 + L2正則化
ロバスト回帰	外れ値に強い
主成分回帰（PCR）	PCAで次元削減後に回帰
偏最小二乗回帰（PLS）	目的変数を考慮した次元削減
分位点回帰	中央値などを予測
正則化最小二乗法（OLS）	標準的な線形回帰

---

結論

線形回帰 には様々な拡張があるが、基本は「単回帰」「重回帰」から学び、データに応じて
正則化（リッジ・ラッソ）、外れ値対応（ロバスト回帰）、次元削減（PCR・PLS）を活用するとよい。