【RAG、追加学習】生成AIをより便利に使う技術【生成AI②】

生成AIの技術的な部分についても触れていきます。

ひとまず、皆さんご存じのChatGPTに代表されるLLM(大規模言語モデル)を取り上げます。

LLM(大規模言語モデル)とは

LLMとは、膨大な量のテキストデータと最先端のディープラーニング技術を用いて訓練された、AIの一種です。

その名の通り、従来の言語モデルと比べて圧倒的に大規模にすることで、人間のような流暢な会話や、創造的な文章生成、高度な翻訳、複雑な質問への回答など、様々な自然言語処理タスクにおいて高い能力を発揮することができます。

きっかけは、Open AI社が2020年に大規模言語モデルに関する論文(Scaling Laws for Neural Language Models)が始まりのようです。

この論文の中で、言語モデルの性能はスケールと呼ばれる以下3つの要素に強く依存していると言われています。

つまり、難しいことは抜きにして、言語モデルを大規模にすればするほどパフォーマンスの高いモデルが作られるということが実証されたということで、大規模言語モデル(LLM)が流行ることになりました。

Open AI社のChatGPTやGoogleのBERTなどはこの大規模言語モデルを元に、自然言語を介して会話ができるように応用したAIです。

厳密な区分けは異なるようですが、これらのサービスをまとめてLLMと呼ぶ人も結構多い印象です。

Deep Learningの一種：生成AIの位置づけ

2024年5月にOpen AIからGPT-4oがリリースされ、世間をより騒がせていましたが、

実際にLLMを使う場合は、ChatGPTのように各社から提供されるサービスとして使うのが一般的です。

ただし、そのままLMMを使うのでは不都合な点がいくつがあります。

代表的な課題を3つ上げます

これらを解決するために、LLMと合わせて複数の技術を掛け合わせて対応していくのが基本です。

LLMはネット上や書籍など一般的な情報から学習しています。

そのため、学習していない情報については正しく答えることができません。

そこで用いるのがRAG(検索拡張生成)と呼ばれる技術で、社内規約などのLLMが持ち合わせていないデータをDBに格納し、質問の際にはこのDBからの検索結果と合わせてLLMに投げます。

LLMは検索結果と質問内容に合う形で回答します。（以下図参照）

RAGを利用したLLMのイメージ図

このように、LLMが持っていない知識を横づけする形で補うことができるのです。

RAGのメリット・デメリットも簡単にまとめておきます。

いわゆるディープラーニング界で有名なファインチューニングのことです。

LLMは大量の学習データとバケモノクラスのGPUを用いて学習がされています。

この学習済みのモデルに対して新しい情報を追加的に学習させるのが追加学習です。

しかし、この追加学習が選択肢に入るケースはなかなかないかもしれません。

メリット・デメリットをまとめてみます。