30秒でわかる要点
全データではなく、ランダムに選んだ1件または少数のデータ（ミニバッチ）で勾配を計算してパラメータを更新する方法。計算が速く、ランダム性によって局所解から抜け出しやすい。
「確率的勾配降下法（SGD）」の練習問題
当サイトの練習問題から、この用語に関係する問題をピックアップしました。
Q1確率的勾配降下法（SGD）が通常の勾配降下法と異なる特徴として最も適切なものはどれか。
- 各反復で全訓練データの代わりに、ランダムに選んだ1つ（またはミニバッチ）のデータで勾配を計算し、高速化する
- 常に全訓練データを使用し、より正確な勾配を計算する
- 確率的な要素を持たず、決定論的に最適解を見つける
- ニューラルネットワークでは使用できない手法である
答えと解説を見る
正解：A
確率的勾配降下法は、全データの勾配計算の代わりに、ランダムに選んだサンプルまたはミニバッチで勾配を推定。計算量が削減され、大規模データセットで実用的。ノイズを含むため初期段階での収束は遅いが、局所最適値への陥入を回避する利点もある。B、C、Dは誤り。
Q2確率的勾配降下法（SGD）の基本的な更新式として正しいものはどれか。
- θ_new = θ - lr * gradient
- θ_new = θ + gradient
- θ_new = θ / gradient
- θ_new = 0
答えと解説を見る
正解：A
SGDはシンプルな勾配方向への更新で、学習率により更新幅を制御します。
Q3確率的勾配降下法（SGD）が大規模データで推奨される理由は何か。
- サンプル単位で勾配計算・更新するため、メモリ効率と計算効率が優れ、オンライン学習に対応できるためである
- 精度が低下する
- 計算複雑度が増加
- 大規模データに不適切
答えと解説を見る
正解：A
SGD：サンプル単位更新。メモリ効率。オンライン学習対応。
深層学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。
深層学習の練習問題を解く