30秒でわかる要点

自己注意機構（Self-Attention）に基づくアーキテクチャ。RNNと異なり並列処理が可能で、長い系列も効率よく扱える。BERT、GPTなどの大規模言語モデルの基盤技術。

「Transformer」の練習問題

当サイトの練習問題から、この用語に関係する問題をピックアップしました。

Q1Transformer（トランスフォーマー）アーキテクチャの登場が自然言語処理分野にもたらした影響として最も重要なものはどれか。

  1. 注意機構（Attention）により、長距離の依存関係を効率的に学習でき、翻訳性能が飛躍的に向上した
  2. RNNを完全に廃止し、機械学習全体が終わることを示した
  3. 全ての言語を完全に理解するAIが実現された
  4. プログラミング言語の処理にのみ有効
答えと解説を見る

正解：A

2017年の論文「Attention is All You Need」で提案されたTransformerは、注意機構（Attention）を活用して系列データの並列処理と長距離依存関係の学習を可能にした。BERTやGPTなど多くの最新NLPモデルの基盤。B、C、Dは誇張または誤り。

Q2ビジョントランスフォーマー（Vision Transformer）の革新的な点はどれか。

  1. 畳み込みを用いず、純粋にAttentionメカニズムで画像を処理する
  2. CNNより高速である
  3. CNNを完全に置き換える
  4. 小規模データセットに最適である
答えと解説を見る

正解：A

Vision Transformerは画像をパッチに分割し、Attentionで処理することで、畳み込みの役割を担います。

Q3シーケンス長に対する計算量の観点でTransformerとRNNを比較した場合、正しいのはどれか。

  1. Transformerは二次、RNNは線形だが、Transformerは並列化で実運用では高速
  2. RNNの方が常に高速
  3. 計算量は同じ
  4. シーケンス長に無関係
答えと解説を見る

正解：A

Transformerは理論的には二次計算量ですが、GPU並列化で実際には高速です。

深層学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。

深層学習の練習問題を解く

深層学習の関連用語

用語集の一覧に戻る →