ハルシネーション(幻覚)。つまりLLMが自信満々に嘘をつく現象だ。「存在しない論文」をちゃんと著者名付きで引用したり、「そんなAPIない」機能の使い方を事細かに説明したり。初めて遭遇したときは「え、これ欠陥じゃん」って思った。
でも今は考え方が変わった。ハルシネーションは「仕様」として付き合うべきものだ。人間だって記憶違いするし、知ったかぶりもする。LLMも同じ。完璧を期待するのが間違いで、どう付き合うかが勝負。
僕が実践してるハルシネーション対策:
- ファクトチェックを習慣化 — LLMの出力は常に「仮説」。コードは実行して確認、情報は元ソースを当たる。これが癖になれば被害はゼロ。
- 重要な判断はLLMだけに委ねない — 医療、法律、金融。LLMの回答をそのまま信じてはいけない領域がある。人間の最終確認は必須。
- RAGと組み合わせる — 外部ソースを参照させることで、ハルシネーション率が劇的に下がる。根拠のある答えしか出せなくなるから。
- 複数モデルでクロスチェック — GPT-4とClaude両方に聞いて、一致しない部分は疑う。2つが別の嘘をつく確率は低い。
大事なのは「LLMは時に嘘をつく」前提で使うこと。それを忘れなければ、ハルシネーションに痛い目を見ることはない。賢いけど時に嘘をつく助手——それが今のLLMの正体だ。