LMとLLM

言語モデルと大規模言語モデルの理解は、自然言語処理技術の基礎を形成し、GPTのような高度なAIシステムの仕組みと機能を把握するために不可欠です。これにより、言語生成や理解、翻訳などのAI応用への深い洞察を得ることができます。

学習目標

言語モデル(LM)と大規模言語モデル(LLM)の概念と特徴を理解し、両者の違いとその応用範囲を把握する。

学習項目 & キーワード

キーワード別

LM (Language Model: 言語モデル)
自然言語の文の連続性や、言葉の並びの確率を計算するためのモデル。
テキストデータを用いてトレーニングされ、新しいテキストが生成される確率を予測します。

LLM (Large Language Model: 大規模言語モデル)
非常に大量のデータと計算リソースを用いてトレーニングされた言語モデル。より複雑な言語タスクを処理し、文脈理解や生成能力が高いです。

プレトレーニング
モデルを特定のタスクに適用する前に、大量のデータセットで予備的にトレーニングすること。

ファインチューニング
プレトレーニングされたモデルを、特定のタスクやデータセットに適合させるために追加で調整するプロセス。

パラメータ
モデルの学習過程で調整される変数。これによってモデルの動作や予測が決定されます。

マルチモーダル
複数の種類の入力データ（例：テキスト、画像、音声）を処理する能力を持つモデル。