30秒でわかる要点
入力が0以下なら0、0より大きければ入力をそのまま出力する活性化関数。正の領域では微分が常に1なので勾配消失が起きにくく、ディープラーニングで広く使われる。
「ReLU（ランプ関数）」の練習問題
当サイトの練習問題から、この用語に関係する問題をピックアップしました。
Q1ReLU関数の特徴として正しいものはどれか。
- 出力が常に0以上1以下の範囲に限定される
- 負の入力に対しては出力が0となるため、スパース性を持つ
- 計算量が多く、深いネットワークには不向きである
- 出力の平均が常にゼロに正規化される
答えと解説を見る
正解：B
ReLUはmax(0,x)で定義され、負の値は0にマッピングされます。ニューロンが疎にアクティブ化され計算効率が良いです。
Q2Leaky ReLUを使用する利点として正しいものはどれか。
- 負の入力に対して小さな勾配を持つため、デッドニューロン問題を軽減する
- 計算量が通常のReLUの100倍高速化する
- 出力値が常に0から1に正規化される
- 勾配消失問題を完全に解決する
答えと解説を見る
正解：A
Leaky ReLUはf(x)=max(αx,x)で定義され、負の領域でも非ゼロの勾配を持つため、デッドニューロン問題を緩和します。
Q3ニューラルネットワークの活性化関数として ReLU を使用する利点は何か。
- シグモイドやタンハイパーボリック関数と比べて、計算が単純で勾配消失問題を緩和できる
- 常に微分可能で、勾配計算が安定している
- 出力値が必ず 0 から 1 の間に正規化される
- ニューロン間の相互作用を最大化する
答えと解説を見る
正解：A
ReLU は max(0, x) で計算簡単。シグモイドは飽和領域で勾配が小さくなり、勾配消失起こすが、ReLU は改善。B は不正確（ReLU は x < 0 で非微分）。
深層学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。
深層学習の練習問題を解く