30秒でわかる要点

2014年に提案された最適化手法。モーメンタム（過去の勾配の移動平均）とRMSprop（パラメータごとの学習率調整）の考え方を組み合わせたもので、現在最もよく使われる手法の一つ。

「Adam」の練習問題

当サイトの練習問題から、この用語に関係する問題をピックアップしました。

Q1Adam（Adaptive Moment Estimation）アルゴリズムの特徴として正しいものはどれか。

  1. 一次と二次モーメントを両方適応的に計算し、様々なタスクで高性能
  2. 固定学習率のみ
  3. 単方向更新
  4. 計算が複雑
答えと解説を見る

正解：A

Adamは多くのタスクで高いデフォルト性能を発揮し、実装されるアルゴリズムです。

Q2Adamアルゴリズムが従来のSGDより優れている点はどれか。

  1. 一次モーメント（平均）と二次モーメント（分散）を両方使用し、スパース勾配で優れた性能を示す
  2. 計算速度が100倍高速である
  3. メモリ使用量が1/10に削減される
  4. すべてのタスクで最適である
答えと解説を見る

正解：A

Adamは勾配の一次モーメント（速度）と二次モーメント（加速度）を適応的に計算し、スパースな勾配環境でも効率的です。

Q3AdamWがAdamと異なる点は何か。

  1. 重み減衰を適切に実装し、正則化の効果を改善
  2. モーメント計算を削除
  3. 学習率を固定
  4. 計算量を削減
答えと解説を見る

正解：A

AdamWは特にTransformer訓練で標準として採用されています。

深層学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。

深層学習の練習問題を解く

深層学習の関連用語

用語集の一覧に戻る →