Chat GPTのようなLLM(大規模言語モデル)を利用したチャット型の文章生成AIの普及に伴い、ハルシネーション(事実と異なる出力)の問題も指摘されています。この問題の解決策として、生成AIに適切な情報を参照させることで回答の精度を上げる、「RAG(Retrieval-Augmented Generation)=検索拡張生成」というフレームワークが注目を集めています。
文書生成AIの課題、ハルシネーションとは?
ハルシネーション(hallucination)とは「幻覚」の意味ですが、文章生成AIが時に「事実でないことを本当のように語る現象」も指すようになりました。この原因は、LLMに基づく文章生成AIは、言葉の意味を理解して文章を作るのではなく、次の単語を推測することで文章を紡いでいく点にあります。結果、回答が文脈重視になる傾向があり、不正確な情報源を参照して、文脈に則した「それっぽい回答」を出してしまうケースが散見されるようになったのです。
生成AIは自然で説得力のある文章を作れますが、時に誤りや創作が含まれるハルシネーションと呼ばれる現象を起こします。このハルシネーションを、外部情報を参照することで軽減する対策がRAGなのです。