(1) 難易度を決めてゲーム開始!
(2) 左右に動いて一番低い位置に辿り着こう
ステップ幅を調節して移動回数は出来るだけ少なくしよう
(3) 一番低い位置に着いたと思ったら「完了」を押してね
勾配降下法(Gradient Descent)とは機械学習において機械が学習するためのアルゴリズムです.
「損失関数」を最小にするパラメータを,損失関数の「勾配」(傾き) を頼りに探す戦略のことを指します.
イメージ
料理で例えますと
損失関数︰料理の不味さ
パラメータ︰塩を入れる量
塩を入れる量にも最適な量があります.機械学習ではまず「不味さ」の数理モデルを立てて,ここから計算した勾配を用いて「不味さ」の最小となる塩の量を探します.
何回も料理を作り直すのは手間ですから,できるだけ少ない回数でできるだけ最適な量を求めることが目標となります.
実際の問題では
実際には塩の量以外にも,砂糖の量や水の量,火加減など様々な「パラメータ」が存在します.これらを一度に学習し,最適値を求めるのは非常に困難になります.
このような中で,できるだけ少ない回数で,できるだけ良い結果を出せるアルゴリズムを考えるのが研究の対象となります.