30秒でわかる要点
ミニバッチごとに各層への入力を平均0・分散1に正規化する手法。2015年に提案された。学習が安定して速くなり、過学習を抑える効果もある。
「バッチ正規化」の練習問題
当サイトの練習問題から、この用語に関係する問題をピックアップしました。
Q1バッチ正規化（Batch Normalization）が過学習抑制に寄与する理由について、最も適切な説明はどれか。
- 各層への入力分布を正規化し、内部共変量シフトを軽減し、より高い学習率が可能になり、正則化効果を持つためである
- 過学習を完全に排除する
- 計算量を削減する
- 活性化関数を不要にする
答えと解説を見る
正解：A
バッチ正規化：正規化＋スケーリング。学習率↑。正則化効果あり。
Q2層正規化（Layer Normalization）がバッチ正規化と異なる特徴として最も適切なものはどれか。
- バッチサイズに依存せず、各サンプル内の特徴を正規化するため小バッチやRNNに有効
- バッチ正規化とまったく同じ操作
- 層正規化は計算効率が低い
- 層正規化はRNNに適用不可
答えと解説を見る
正解：A
バッチ正規化：バッチ内の特徴を正規化。小バッチで不安定。層正規化：サンプル内の隠れ層を正規化。バッチサイズ独立で、RNN、Transformerに最適。各層の平均・分散で独立正規化。B、C、Dは誤り。
Q3バッチ正規化層がニューラルネットワークの訓練に与える利点として最も重要なものはどれか。
- 各層への入力分布をより安定させ、より高い学習率を使用可能にし、収束を加速させる
- 活性化関数を使用する必要がなくなる
- 過学習を完全に排除する
- 計算量を大幅に削減する
答えと解説を見る
正解：A
バッチ正規化は各層の入力分布を標準化し、internal covariate shift を軽減。これにより学習率を上げられ、収束速度向上。B は誤り、C は正則化が必要、D は逆に計算増加。
深層学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。
深層学習の練習問題を解く