30秒でわかる要点
損失関数の勾配（微分）を計算し、パラメータを少しずつ更新して最適解を探索するアルゴリズム。確率的勾配降下法（SGD）、Adam、RMSpropなどのバリエーションがある。
「勾配降下法」の練習問題
当サイトの練習問題から、この用語に関係する問題をピックアップしました。
Q1勾配降下法（Gradient Descent）の基本原理として最も適切なのはどれか。
- 損失関数の勾配方向（最大増加方向）の逆方向に進み、パラメータを逐次更新して、最小値を探索するアルゴリズムである
- 勾配の方向に進む
- 勾配を計算しない
- 反復更新が不要
答えと解説を見る
正解：A
勾配降下法：θ ← θ - α∇L。反復的パラメータ更新。
Q2確率的勾配降下法（SGD）が通常の勾配降下法と異なる特徴として最も適切なものはどれか。
- 各反復で全訓練データの代わりに、ランダムに選んだ1つ（またはミニバッチ）のデータで勾配を計算し、高速化する
- 常に全訓練データを使用し、より正確な勾配を計算する
- 確率的な要素を持たず、決定論的に最適解を見つける
- ニューラルネットワークでは使用できない手法である
答えと解説を見る
正解：A
確率的勾配降下法は、全データの勾配計算の代わりに、ランダムに選んだサンプルまたはミニバッチで勾配を推定。計算量が削減され、大規模データセットで実用的。ノイズを含むため初期段階での収束は遅いが、局所最適値への陥入を回避する利点もある。B、C、Dは誤り。
Q3確率的勾配降下法（SGD）の基本的な更新式として正しいものはどれか。
- θ_new = θ - lr * gradient
- θ_new = θ + gradient
- θ_new = θ / gradient
- θ_new = 0
答えと解説を見る
正解：A
SGDはシンプルな勾配方向への更新で、学習率により更新幅を制御します。
深層学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。
深層学習の練習問題を解く