本文へ移動

はるしねーしょん

ハルシネーション

生成AIが、事実とは異なる内容や存在しない情報を、あたかも正解であるかのように自信満々で出力してしまう現象です。

詳しい説明

ハルシネーションとは、生成AIや大規模言語モデルが、事実に基づかない情報や存在しない概念を、あたかも正解であるかのように自信を持って生成してしまう現象を指します。AIが確率的に次の単語を予測するという仕組み上、発生を完全に防ぐことは困難です。

この現象は、AIに誤った知識を学習させたり、あるいはAIがもっともらしい嘘(もっともらしいが誤った文章)を作成したりすることで発生します。特に、専門的な知識や最新の事実を確認したい場面で、一見論理的に見える誤情報を出力するため、利用者が誤信してしまうリスクがあります。

AIを活用する上での信頼性の最大課題です。そのため、生成された内容を人間が必ず検証する、あるいは検索エンジン等の信頼できる外部情報源と連携させて根拠を確認するグラウンディングといった対策が重要視されています。試験でもAI利用のリスク管理として必ず問われます。

試験で問われること

ITパスポート試験

  • 生成AIの利用に伴うリスクとして必ず押さえます。
  • 人間による確認や根拠の確認の必要性が問われます。

基本情報技術者試験

  • 確率的に文章を生成するAIの動作原理に関連して問われます。
  • AIの信頼性確保やリスクマネジメントの観点から重要です。