30秒でわかる要点
入力のうち、どの部分に注目すべきかを重みとして学習する仕組み。機械翻訳で長い文の精度を高めるために導入された。Transformerは自己注意（Self-Attention）を中心にしたモデル。
「Attention（注意機構）」の練習問題
当サイトの練習問題から、この用語に関係する問題をピックアップしました。
Q1注意機構（Attention Mechanism）がニューラルネットワークにもたらした利点として最も重要なものはどれか。
- 入力の各部分の重要度を動的に学習し、長距離依存関係を効率的に捉えること
- 注意機構は計算負荷を増加させるだけ
- 注意機構は解釈性を低下させる
- 注意機構はTransformerなし実装不可能
答えと解説を見る
正解：A
注意機構により、モデルが入力の異なる部分に選別的に焦点を当てられる。Transformerで全系列の相互作用をO(n²)で計算可能。BERT、GPTなど現代NLPの基盤。B、C、Dは誤り。
Q2注意機構（Attention Mechanism）がシーケンス・ツー・シーケンスモデルに与える利点は何か。
- 長いシーケンスで特に関連性の高い入力部分に焦点を当て、モデルの予測精度と解釈可能性を向上させる
- 計算量を削減し、訓練時間を短縮する唯一の方法である
- 自動的にシーケンスの長さを制限する
- 活性化関数の選択を自動化する
答えと解説を見る
正解：A
注意機構はクエリと各入力要素の関連度を計算し、重み付き和を取る。関連部分への焦点で精度・解釈向上。B,C,D は誤り。
Q3Attentionメカニズムが必要とされた理由は何か。
- Seq2Seqで固定長ベクトルが長い入力の情報を失うため、入力の各部分に異なる重みを付与
- 計算速度を高めるため
- パラメータを削減するため
- 活性化関数を不要にするため
答えと解説を見る
正解：A
Attentionは入力系列の各要素に対して動的に重みを計算し、重要な部分に焦点を当てます。
深層学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。
深層学習の練習問題を解く