最急降下法と正規方程式のメリットどデメリット

 最急降下法正規方程式
メリット・フィーチャーが増えても遅くなりにくい・レーニングレートを選ぶ必要が無い
・繰り返しが不要
デメリット・ラーニングレートのαを調整する必要がある
→αを異なる値で走らせなおして適切な値を見つける必要がある
・繰り返しが必要で結果を得るのに遅くなる可能性がある
・フィーチャーが多くなると計算量が増え遅くなる
→行列の次元の三乗で遅くなる

フィーチャーの数がどれぐらい以上になると、最急降下法を使用する検討を始めるといいのか。
10000あたりが境界線で、それ以下の場合は、正規方程式で十分に素早く結果を得られる。
100万個は明確に遅くなるので最急降下法を選択するのが良いそうだ。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です