勾配降下法と誤差逆伝播法とは？
勾配降下法と誤差逆伝播法とは、損失関数の勾配の逆向きにパラメータを少しずつ動かして最小値を探す最適化手法が勾配降下法。多層ネットワークでは出力側から順に連鎖律で各層の勾配を求める誤差逆伝播法により、膨大な重みの更新量を効率よく計算する。
こうばいこうかほうとごさぎゃくでんぱほう
勾配降下法と誤差逆伝播法の意味
損失関数の勾配の逆向きにパラメータを少しずつ動かして最小値を探す最適化手法が勾配降下法。多層ネットワークでは出力側から順に連鎖律で各層の勾配を求める誤差逆伝播法により、膨大な重みの更新量を効率よく計算する。
勾配降下法と誤差逆伝播法の具体例
全データで1回更新するバッチ法は遅いため、実務では32〜256件のミニバッチで更新する。学習率0.1で損失が発散したら0.01へ下げる、Adamのような適応的手法に替える、といった調整を学習曲線を見ながら行う。
勾配降下法と誤差逆伝播法は試験でどう引っ掛けられる？
学習率は大きいほど速いのではなく、大きすぎると最小値を飛び越えて発散する。また逆伝播は「誤差そのもの」ではなく勾配を伝えるものであり、層が深いと勾配消失で学習が進まなくなる。
勾配降下法と誤差逆伝播法と関連する用語
最終更新：2026-08-25／解説は資格暗記が独自に作成しています。 過去問の出典は各問題に記載のとおりです。