【機械学習】リッジ回帰、ラッソ回帰、Elastic Netの使い分け【忘備録的な】

リッジ回帰、ラッソ。正直どっちがどっちだかわからなくなることが多々あります。

後輩もできたことだし、ここで一度ちゃんと理解しておこうか。

と思った次第でございます。

先に結論を述べると、

Elastic Netが攻守最強

のようです。

リッジ回帰は、L2ペナルティ付きのモデルである。このモデルの式では、最小二乗コスト関数に対して重みの平方和を足し合わせる。

L2ペナルティね、フーン・・・

なんだっけ？

$$ J(\mathbf{w})_{Ridge}=\sum^n_{i=1}(y^{(i)}-\hat{y}^{(i)})^2+\lambda||\mathbf{w}||^2_2 $$

この数式の1項は損失関数と呼ばれる予測値と実測値の誤差の2乗の合計、そして2項目がL2ペナルティと呼ばれる項目である。

この$J(\mathbf{w})_{Ridge}$を最小化するために使われるのが最小二乗法。(ここでは割愛)

また、L2は正確には以下の数式

$$ L2: \lambda||\mathbf{w}||^2_2= \lambda\sum^m_{j=1}w^2_j $$

このハイパーパラメータ$\lambda$の値を増やすことで、正則化の強さを強くし、

”より強いペナルティを与えることができる”　＝　”過学習を防げる”

つまり、リッジ回帰は過学習に強いモデルを作成することができる。

どうして正則化の項目を入れてハイパーパラメータ$\lambda$をいじると過学習を防ぐことができるのか？

その直感的な説明はこちらのブログがとてもわかりやすいです。

リッジ回帰についてまとめると、

続いて、LASSOは以下の数式で表すことができる。

$$ J(\mathbf{w})_{LASSO}=\sum^n_{i=1}(y^{(i)}-\hat{y}^{(i)})^2+\lambda||\mathbf{w}||_1 $$

また、L1ペナルティは

$$ L1: \lambda||\mathbf{w}||_1= \lambda\sum^m_{j=1}|w|_j $$

リッジ回帰とかなり似ていますね。いったい何が変わったんや…？というレベル。

よく見ると正則項の$\lambda\sum^m_{j=1}|w|_j$のところが違うようです。

LASSOの正則項はリッジ回帰の場合とは異なり、損失関数と正則項の接点が軸上になることがあります。

これにより目的変数への寄与が少ない一部の特徴量の係数がゼロとなり、特徴量の数が減るためリッジ回帰の正則項L2よりも強い特徴量削減の効果があるのです。

イメージの説明はやはりこちらのブログがとてもわかりやすい。

LASSOについてまとめると

ということで、リッジ回帰とLASSOのお互いの欠点を補う手法がElastic Netです。

Elastic Netはつまるところ、リッジ回帰とLASSOを組み合わせた手法となる。

$$ J(\mathbf{w})_{ElasticNet}=\sum^n_{i=1}(y^{(i)}-\hat{y}^{(i)})^2+ \lambda_1\sum^m_{j=1}w^2_j +\lambda_2\sum^m_{j=1}|w|_j $$

これにより、正則項L1により特徴量選択性能を持ち、かつ正則項L2によりLASSOの制約を克服することが可能となる。

…

最初からElastic Netを使っておきましょう。という身もふたもない結論でいいんでしょうか？

まぁええか！

以上！