30秒でわかる要点

OpenAIが開発した言語モデルのシリーズ。Transformerのデコーダを使い、次の単語を予測する自己回帰的な事前学習を大量のテキストで行う。ChatGPTの基盤となっている。

「GPT」の練習問題

当サイトの練習問題から、この用語に関係する問題をピックアップしました。

Q1GPT（生成事前学習モデル）の登場が、自然言語処理分野にもたらした変化として最も重要なものはどれか。

  1. 事前学習と転移学習により、多くのNLPタスクで高性能を実現する統一的なアプローチが可能になった
  2. 自然言語処理の全ての問題が完全に解決され、今後の研究は不要になった
  3. ニューラルネットワークはテキスト処理に向かず、従来のルールベース手法に戻すべき
  4. 機械翻訳が完全に自動化され、多言語間の理解に問題がなくなった
答えと解説を見る

正解：A

GPTは大規模な言語コーパスで事前学習された後、様々なNLPタスクに微調整（ファインチューニング）できる汎用モデルを提供した。この転移学習アプローチにより、タスク固有のモデル設計が不要になり、研究開発の効率が大幅に向上した。B、C、Dは過度な主張である。

Q2GPTが採用した学習パラダイムとして正しいものはどれか。

  1. 自己回帰言語モデリングで、次トークン予測による単方向的な学習
  2. 分類スコアを最大化する
  3. 複数の損失関数を同時に最小化
  4. ラベル付きデータでのみ訓練
答えと解説を見る

正解：A

GPTは次トークン予測の自己回帰学習により、単方向的だが効率的な事前訓練を実現しました。

Q3BERTとGPTのモデル構成の違いは何か。

  1. BERTは双方向Encoder、GPTは単方向Decoderベース
  2. 構成は全く同じ
  3. BERTは自動回帰
  4. GPTは双方向
答えと解説を見る

正解：A

この構造の違いにより、訓練パラダイムと応用可能タスクが異なります。

深層学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。

深層学習の練習問題を解く

深層学習の関連用語

用語集の一覧に戻る →