| 最急降下法 | 正規方程式 | |
| メリット | ・フィーチャーが増えても遅くなりにくい | ・レーニングレートを選ぶ必要が無い ・繰り返しが不要 |
| デメリット | ・ラーニングレートのαを調整する必要がある →αを異なる値で走らせなおして適切な値を見つける必要がある ・繰り返しが必要で結果を得るのに遅くなる可能性がある | ・フィーチャーが多くなると計算量が増え遅くなる →行列の次元の三乗で遅くなる |
フィーチャーの数がどれぐらい以上になると、最急降下法を使用する検討を始めるといいのか。
10000あたりが境界線で、それ以下の場合は、正規方程式で十分に素早く結果を得られる。
100万個は明確に遅くなるので最急降下法を選択するのが良いそうだ。
ピンバック: 線形回帰における２つのアプローチ（最急降下法と正規方程式） - 地理ラボ データ分析