30秒でわかる要点

2018年にGoogleが発表した言語モデル。Transformerのエンコーダを使い、文の前後両方向の文脈を学習する。マスクした単語を当てる（MLM）などの事前学習を行い、ファインチューニングでさまざまなタスクに使える。

「BERT」の練習問題

当サイトの練習問題から、この用語に関係する問題をピックアップしました。

Q1BERT（Bidirectional Encoder Representations from Transformers）の事前学習タスクとして使用されない方法はどれか。

  1. 言語翻訳タスク
  2. マスク言語モデル（BERT の主要タスク）
  3. 次文予測（NSP）
  4. 自己教師あり学習による特徴抽出
答えと解説を見る

正解：A

BERT は言語翻訳で事前学習されない。マスク言語モデルと NSP が主要。その後、下流タスク（分類など）で微調整。

Q2BERTが訓練に使用した主な目標タスクは何か。

  1. Masked Language Modelingと次文予測により、双方向的な文脈理解を学習
  2. クラス分類
  3. 画像キャプション生成
  4. 機械翻訳
答えと解説を見る

正解：A

BERTはマスク予測で隠れた単語を復元し、双方向的な文脈表現を獲得しました。

Q3BERTとGPTのモデル構成の違いは何か。

  1. BERTは双方向Encoder、GPTは単方向Decoderベース
  2. 構成は全く同じ
  3. BERTは自動回帰
  4. GPTは双方向
答えと解説を見る

正解：A

この構造の違いにより、訓練パラダイムと応用可能タスクが異なります。

深層学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。

深層学習の練習問題を解く

深層学習の関連用語

用語集の一覧に戻る →