「ChatGPT に質問したら、もっともらしい嘘の回答が返ってきた」 — 生成 AI を業務に導入した中小企業からよく頂くトラブル相談です。本記事では ハルシネーション（誤答）を業務で発生させないための 5 つの安全ルール を、実装担当の目線で整理します。
結論を先に：ハルシネーションは 「完全に防ぐ」のではなく「発生確率を下げる」「検知する」「業務影響を小さくする」の 3 層 で防御するのが現実解です。1 つの銀の弾はなく、5 つのルールを組み合わせて初めて業務で安心して使えます。
ハルシネーションとは何か（3 つの典型パターン）
ハルシネーション（hallucination）は、LLM が 事実と異なる回答を、もっともらしく自信ありげに返す現象です。LLM は「次の単語の確率分布」から文字列を生成する仕組みのため、「知らないこと」を素直に「知らない」と答えるのが苦手で、なんとなく筋が通る回答を作ってしまいます。
典型パターン 3 種
- 事実誤認：「○○社の創業は 1972 年」など、年・名前・数値の捏造
- 関係性の誤り：「A は B の子会社」など、本来関係のない 2 つを結びつける
- 架空の引用：実在しない論文・法律条文・URL を本物のように引用する
特に厄介なのが 「もっともらしい」 ことです。文章として綺麗に成立しているので、人間が読んでも嘘とは気付きにくい。実装担当者として責任を持って業務に組み込むなら、防御策が必須です。
ルール 1: 検証可能な質問だけを業務に使う
最初のルールは、業務で AI に投げる質問を 「検証可能なもの」に絞る ことです。
検証可能な質問（OK）
- 「この議事録を要約してください」→ 元議事録と比較できる
- 「このコードのバグを指摘してください」→ コードを実行して確認できる
- 「この英文を日本語に翻訳してください」→ 専門家が確認できる
検証不可能な質問（NG）
- 「○○業界の最新トレンドを教えて」→ AI 学習データの古さ + 主観で検証困難
- 「日本の労働基準法について」→ 条文番号を間違えても気付きにくい
- 「業界統計を出して」→ 数字を捏造される
検証不可能な質問は 外部情報源で必ずダブルチェック するか、そもそも AI に投げないルールにします。
ルール 2: 出典付き回答（citation）を必須化する
社内ナレッジを参照させる場合（RAG など）は、「回答の根拠となる文書名 + 該当箇所」 を必ず出力させます。これによって：
- 人間がワンクリックで原典を確認できる
- AI が「文書にない情報」を作りそうになると、出典が出ない or 不自然になる
- 誤答時の責任追跡（どの文書を見て間違ったか）が可能になる
プロンプト例
回答する際は必ず、参照した社内文書名と該当段落を `[文書名 §X]` の形式で末尾に付けてください。参照すべき情報が見つからない場合は「該当する社内文書が見つかりませんでした」とだけ回答し、推測で答えないでください。
詳しくは 「RAG 出典付き回答の実装」 で実装パターンを解説します。
ルール 3: 人間レビューを業務フローに組み込む
どれだけ精度の高い AI でも、顧客に直接届く情報は必ず人間が最終確認します。これは「AI を信用しない」のではなく、「責任を取れる主体を 1 人入れる」設計です。
レビュー責任の置き方
- 下書きまでは AI、送信ボタンは人間：メール返信、提案書、報告書
- 分類は AI、確認は人間：問い合わせのカテゴリ分け、優先度判定
- 提案は AI、決裁は人間：採用候補者の評価、契約書条項のチェック
「全部 AI に任せる」を目指すと事故ります。「人間の時間を 70% 減らす、責任は人間が持つ」 が現実的な業務組み込みの目標値です。
ルール 4: 評価指標（眼で見える基準）を持つ
AI システムが「使い物になっているか」を 定量的に測る指標 を最初から決めておきます。これがないと、なんとなく動いているけど信用できない、という曖昧な状態が続きます。
業務別の評価指標例
- 議事録要約：網羅率（元議事録の重要点が何 % カバーされているか）、誤情報率
- FAQ チャットボット：正答率、人間エスカレーション率、満足度評価
- メール返信：そのまま送信できた率、人間修正率、顧客クレーム率
実装初期は、テストセット（過去の正解付きデータ）100〜500 件を用意して、毎月の精度を計測。精度が落ちたら原因調査 → プロンプト改善 → 再評価のサイクル。
ルール 5: 社内ガイドラインを 1 ページで配布する
分厚いマニュアルは読まれません。A4 1 枚の社内ガイドラインを全社員に配布するのが現実的な第一歩です。
1 枚に書くべき 5 項目
- 使ってよいタスク：議事録要約、文章校正、英語翻訳など
- 使ってはいけないタスク：未公開の財務予測、診断・法的判断
- 入力禁止情報：顧客個人情報、契約書原本、ソースコード
- 出力の扱い：人間レビュー必須、顧客に直接送らない
- 困ったとき：Slack の AI チャンネル or 担当窓口
詳しくは 「ChatGPT を中小企業に導入する、現実的な 5 ステップ」 もご参照ください。
ハルシネーションを検知する 3 つの実装パターン
パターン 1: 二重チェック（self-consistency）
同じ質問を温度を変えて 3 回投げる → 3 回の回答が一致するなら確度高、ばらつくなら要注意。コストは 3 倍だが、精度がクリティカルな業務（医療、法務、金融）で有効。
パターン 2: 検索 + 比較
AI が事実っぽい主張をしたら、Google 検索 / 社内 DB 検索 API で裏取り → 一致しなければアラート。実装は手間だが、外部公開コンテンツ向けには必須。
パターン 3: 信頼度しきい値
GPT-4o や Claude 3.5 など最新モデルは「自信のなさ」を示す出力ができます。「以下は推測ですが」「定かではありませんが」のような表現が出たら、人間エスカレーション。
業種別「危険ライン」の例
- 医療・法務・税務：ハルシネーション = 法的責任発生。AI 単独運用は危険、必ず資格者の最終チェック
- 製造業の設計・品質：ハルシネーション = 製品事故リスク。AI は補助のみ、設計判断は人間
- EC・カスタマーサポート：ハルシネーション = ブランド毀損。チャットボットは「分からない」と素直に答える設計
- 社内ナレッジ検索：ハルシネーション = 業務ミス。出典必須化 + 人間が必ず原典確認
- マーケティング・営業：ハルシネーション = クライアントへの誤情報。提案書は必ず人間レビュー
よくあるご質問
ハルシネーションはなくせますか？
完全にゼロにはできません。LLM は確率的に文字列を生成する仕組みのため、知らないことを『推測』する性質が残ります。実務では『発生確率を下げる』『発生したときに人間が検知する』『業務影響を小さくする』の 3 層で防御するのが現実解です。
RAG を入れればハルシネーションは消えますか？
大幅に減りますが、ゼロにはなりません。RAG は『外部知識を参照させる』仕組みですが、参照したドキュメントを誤って解釈する・関係ない情報を引用する・古いドキュメントを参照する、といったケースが残ります。出典（citation）必須化と人間レビューの組み合わせが重要です。
GPT-4 と GPT-3.5、どちらがハルシネーションが少ない？
一般的に GPT-4 / GPT-4o / Claude 3.5 Sonnet などの高性能モデルの方がハルシネーション率は低いです。ただし価格は数倍。業務で本格利用するなら、コストよりまず精度重視で高性能モデルを選び、運用が安定してからコスト最適化する流れが現実的です。
社員が ChatGPT の出力を鵜呑みにするのが心配です
A4 1 枚の社内ガイドラインで『生成結果は必ず人間が確認』『重要な意思決定の根拠には使わない』『顧客向け文書はそのまま送らない』を明文化することが第一歩です。形だけのルールではなく、月 1 回の事例共有会で『今月見つけた誤答』を社内で共有する文化が効きます。