ChatGPTソラ先生と学ぶ!中級者のためのAI実践講座【第91回】ChatGPTを使ってAIの回答を検証する方法|元資料との照合・計算の確認・根拠の不足を見分ける実践講座
1.はじめに
皆さん、こんにちは。ソラ先生です。
前回は、ChatGPTの回答が期待と違ったときに、目的、入力情報、作業範囲、出力条件を見直す方法を学びました。
今回は、得られた回答の内容を検証します。
「文章は自然だが、元資料と同じ意味になっているだろうか」
「計算結果は合っていても、使っている数値が違うかもしれない」
「出典が書かれているが、本当にその内容を裏付けているのだろうか」
仕事で使うには、読みやすさに加えて、情報の正確さと適用条件を確認する必要があります。
ChatGPTを整理の補助に使いながら、元資料、計算、出所へ戻る方法を学びましょう。
なお、この講座に登場する資料、数値、回答、会話は説明用です。実際の社内の出来事や成果を示すものではありません。
2.今回の到達目標
今回の目標は、回答全体に「正しい」「間違い」という評価を付けることだけではありません。
どの記述を、何で、どこまで確認したかを整理し、使える範囲を判断することです。
次の五つを目指します。
- 回答を確認できる単位へ分ける。
- 元資料との一致と、結論の妥当性を区別する。
- 数値、式、単位、前提を別々に確認する。
- 出典の存在と、記述を裏付ける力を確かめる。
- 確認済み、要修正、判断保留を分けて扱う。
ChatGPTには、主張の抽出、照合表の作成、不足する根拠の整理を手伝ってもらいます。
3.依頼どおりと、内容が正しいことを分ける
指定した形式や文字数で回答されていても、内容が正しいとは限りません。
反対に、情報が正しくても、依頼した対象や用途に合っていなければ、そのまま使えない場合があります。
例えば、一般的な説明として妥当でも、今回の仕様や社内の取り決めには当てはまらないことがあります。
次の二つを分けて確認しましょう。
- 指示した作業と形式を満たしているか。
- 記述の根拠と、今回への適用条件が確認できるか。
4.検証する範囲を決める
最初に、回答を何へ使うかを確認します。
例えば、
- 自分の考えを整理する。
- 社内で検討する材料にする。
- お客様へ回答する。
- 数量や日程を確定する資料へ使う。
- 実際の作業条件へ反映する。
用途によって、誤りがあった場合の影響が変わります。
特に判断や約束へ関わる箇所を先に確認し、検証した範囲を明示しましょう。
5.元資料と回答の版を固定する
照合中に元資料や回答が変わると、何を確認したか分からなくなります。
例えば、次を残します。
- 使用した元資料。
- 資料の版や日付。
- 検証する回答。
- 回答を得た時点。
- その後に加えた修正。
修正後の回答は、元の回答と区別します。
以前の回答で確認したことが、修正版にもそのまま当てはまるとは限りません。
6.回答を主張ごとに分ける
一つの段落に、複数の確認事項が含まれていることがあります。
例えば、
作業時間が短くなったため、費用が下がり、納期も改善しました。
という文章です。
次の三つへ分けられます。
- 作業時間が短くなった。
- 費用が下がった。
- 納期が改善した。
一つ目の記録があっても、二つ目と三つ目まで裏付けられるとは限りません。
確認する単位を分けましょう。
7.主張を抽出するプロンプト例
次の回答から、事実確認が必要な記述を抜き出してください。
【回答】
[記入]一つの項目に一つの主張となるように分け、数値、日付、条件、因果関係、対応の約束を区別してください。
この段階では正誤を決めず、確認が必要な内容と、提案・意見として書かれた内容を分けてください。
抽出結果にも抜けがないか、元の回答と見比べます。
8.記述の種類に合う確認方法を選ぶ
確認する方法は、記述の種類によって異なります。
| 記述の種類 | 確認方法の例 |
|---|---|
| 元資料の要約 | 原文と条件を照合する |
| 数量や日付 | 対応する記録を確認する |
| 計算結果 | 入力値、式、単位を再計算する |
| 外部の事実 | 出所と該当箇所を確認する |
| 原因の説明 | 支持・反対の証拠を検討する |
| 提案 | 前提、実行条件、影響を比較する |
すべてを「出典があるか」という一つの観点だけで評価しないことが大切です。
9.原文の条件を保っているか確認する
要約や言い換えでは、条件が変わっていないかを見ます。
例えば、
必要資料がそろった後に、対応日程を検討する。
という原文が、
資料を送れば、対応してもらえる。
となっていたら、意味が広がっています。
「検討する」「確認後」「対象を限る」「含まない」といった言葉を確認しましょう。
読みやすくするために、判断を左右する条件を消さないことが大切です。
10.否定と不明を区別する
元資料に記載がない場合、答えは「ない」とは限りません。
例えば、資料に追加費用の記載が見当たらないからといって、
追加費用は発生しません。
とは言えません。
次を区別します。
- 発生しないと明記されている。
- 記載が見つからない。
- 今回の資料では判断できない。
- 別の資料を確認する必要がある。
情報不足を、都合のよい結論へ変えないようにします。
11.元資料の内容自体も確認する
回答が元資料と一致していても、元資料が現在の正式な情報とは限りません。
例えば、
- 古い版だった。
- 草案だった。
- 別の対象の条件だった。
- その後に変更されていた。
- 記録自体に誤記があった。
という場合です。
「正しく転記したか」と「採用してよい情報か」を分けて確認しましょう。
12.照合表を作るプロンプト例
次の回答を、提供した元資料と照合してください。
【元資料】
[資料番号と位置を付けて記入]【回答】
[記入]主張ごとに、回答の記述、対応する原文、記載位置、条件の一致、追加・省略、確認結果を表にしてください。
元資料にない内容は「根拠未確認」とし、資料と一致することを、外部の事実として正しいことまで確認した扱いにしないでください。
13.数値は転記と計算を分けて確認する
計算の検証では、少なくとも次を分けます。
- 入力値は正しいか。
- 式は目的に合っているか。
- 単位はそろっているか。
- 計算結果は正しいか。
- 結果の解釈は妥当か。
式と答えが合っていても、別の案件の数量を使っていれば、今回の結果としては使えません。
計算だけを見ず、元の数値へ戻りましょう。
14.説明用の実務例:時間短縮の報告
ここでは、次の元情報があるとします。
- 変更前の平均作業時間:12分。
- 変更後の平均作業時間:9分。
- 前後とも、記録した対象は各8件。
- 実際に支払う費用の変化は未確認。
ところが回答には、
作業時間を25%短縮し、人件費も25%削減しました。
と書かれていました。
この文章には、別々に確認すべき二つの主張があります。
15.例の計算と解釈を確認する
平均時間の差は、次のとおりです。
12分-9分=3分
変更前を基準にした減少率は、
3分÷12分×100=25%
です。
一方、人件費を25%削減したことは、この情報だけでは確認できません。
さらに、時間差が改善策によるものかを説明するには、対象作業などの比較条件も必要です。
計算が合っている部分と、根拠が不足する部分を分けて修正します。
16.単位と桁を確認する
数値を扱うときは、次を確かめます。
- 一個当たりか、全体か。
- 分か、時間か。
- ミリメートルか、メートルか。
- 税抜きか、税込みか。
- 小数点の位置は正しいか。
- 百分率と比率を取り違えていないか。
換算する場合は、元の値と換算後の値を残します。
重要な計算は、電卓、表計算、確認できる計算処理などを使って確かめましょう。
17.丸め方と精度を確認する
計算結果の桁数が多くても、その精度が元情報にあるとは限りません。
例えば、概算の作業時間から、細かな小数点付きの費用を出しても、実態以上に正確な印象を与える場合があります。
次を確認します。
- 元の値は実測か、概算か。
- どの単位まで測ったか。
- 途中で丸めたか。
- 表示する桁数は用途に合うか。
数字の細かさと、根拠の確かさを混同しないようにしましょう。
18.出典が実在するか確認する
回答に資料名やURLが書かれていても、それだけで根拠が確認できたことにはなりません。
実際に元の資料を開き、
- 記載された資料があるか。
- 著者や発行元が一致するか。
- タイトルや日付が一致するか。
- 該当する内容を確認できるか。
を見ます。
資料を開けない場合は、確認できない状態として残します。
19.出典が主張を裏付けているか確認する
出典が実在しても、回答の主張を直接支持しているとは限りません。
例えば、特定の条件で得られた結果を、すべての条件へ広げて説明している場合です。
次を比べましょう。
- 対象。
- 条件。
- 調査や測定の方法。
- 結果。
- 資料の中で示されている限界。
短い引用だけでなく、前後の説明も確認します。
20.現在の情報かを確かめる
内容が変わり得る情報では、確認した時点も必要です。
例えば、
- 製品の仕様。
- サービスの料金や提供条件。
- ソフトウェアの操作方法。
- 組織の窓口。
- 運用ルール。
古い説明が、現在もそのまま使えるとは限りません。
公式の現行資料などで確認し、対象の版や提供条件をそろえます。確認できた日付も、必要に応じて残しましょう。
21.根拠の対応を整理するプロンプト例
次の主張と出典情報について、検証する項目を整理してください。
【回答の主張】
[記入]【実際に確認した出典の内容】
[該当箇所を記入]対象、条件、結果、適用範囲、日付を比較してください。主張を直接支持する部分、限定が必要な部分、支持していない部分を分けてください。
提供されていないページを読んだように扱わず、不足する確認を示してください。
22.複数のAIの一致を証拠にしない
複数の回答が同じ内容でも、それだけで正しいとは言えません。
同じ資料や、似た説明をもとにしている可能性があります。
別のAIに聞くことは、違う見方を探す補助にはなります。
ただし、最終的な確認では、元資料、実測、計算、正式な回答などへ戻りましょう。
回答の数より、何を根拠に確かめたかが重要です。
23.自己点検と独立した確認を組み合わせる
ChatGPTへ、
元資料にない追加はありませんか。
と確認することはできます。
しかし、最初の回答と同じ見落としを繰り返す場合もあります。
次のように確認方法を変えます。
- 数値は再計算する。
- 原文と回答を並べる。
- 出典を実際に開く。
- 正式な条件を担当者へ確認する。
- 必須項目を一覧で照合する。
同じ質問の繰り返しだけで、検証を終えないようにしましょう。
24.反例や別の説明を探す
原因や効果の説明には、別の可能性がないかを確認します。
例えば、
問い合わせが増えたのは、説明文を変えたためです。
という回答なら、
- 訪問数も変わっていないか。
- 案内した対象が違わないか。
- 同時に別の施策を行っていないか。
- 対象期間に違いはないか。
を確認します。
反例を探す目的は、回答を否定することではありません。どの範囲まで説明できるかを見極めることです。
25.検証状態を分類する
主張ごとに、確認結果を残します。
| 状態 | 意味 |
|---|---|
| 確認済み | 指定した根拠と範囲で確認できた |
| 要修正 | 記載や計算などに不一致がある |
| 条件付き | 条件を限定すれば使える |
| 根拠不足 | 主張を支える情報が足りない |
| 判断保留 | 必要な資料や確認を待っている |
「確認済み」には、何を確認したかを添えます。
資料との一致だけなのか、計算も確かめたのかを区別しましょう。
26.使う部分と保留する部分を分ける
一部に誤りがある回答でも、すべてが使えないとは限りません。
例えば、
- 構成は利用する。
- 確認済みの説明は残す。
- 計算結果を修正する。
- 根拠のない費用削減は削除する。
- 未確認の結論は保留する。
という整理ができます。
ただし、誤った前提に依存している結論があれば、関連する部分も見直します。
一文を直せば全体が正しくなるとは限りません。
27.修正の影響を再確認する
元の数値や条件を修正した場合は、関連箇所も確認します。
例えば、
- 本文の説明。
- 表。
- グラフ。
- 見出し。
- 結論。
- 相手への依頼。
- 次の行動。
数値だけを直して、見出しに古い削減率が残ることを避けましょう。
重要な前提を修正したら、そこから導いた解釈も再検討します。
28.検証結果をまとめるプロンプト例
以下の検証結果から、回答の修正方針を作ってください。
【元の回答】
[記入]【主張ごとの確認結果】
[根拠と状態を付けて記入]残す部分、修正する部分、条件を付ける部分、削除する部分、判断を保留する部分に分けてください。
前提の修正が表、見出し、結論へ与える影響も示してください。確認していない内容を、新たな正解として追加しないでください。
29.実践演習:10ステップで回答を検証する
仕事で使う予定の回答、または説明用の例を一つ選び、次の順で取り組みましょう。
- 用途を確認する。
何の判断や説明へ使うかを書きます。 - 検証対象を残す。
元資料と回答の版を区別します。 - 主張を分ける。
一つの項目に一つの確認内容を置きます。 - 確認方法を選ぶ。
原文照合、計算、出典確認などを対応させます。 - 条件と否定表現を照合する。
未確認が断定へ変わっていないか見ます。 - 数値を確認する。
入力値、式、単位、結果、解釈を分けます。 - 出典を確かめる。
実在、該当箇所、適用範囲、日付を確認します。 - 別の説明を検討する。
原因や効果の断定に不足がないかを見ます。 - 確認状態を分類する。
確認済み、要修正、条件付き、保留を分けます。 - 修正後を再確認する。
表や見出し、結論への影響も照合します。
30.回答を使う前のチェックリスト
- □ 用途と検証範囲が明確か。
- □ 主張を確認できる単位へ分けたか。
- □ 元資料の版と対象を確認したか。
- □ 条件や否定が抜けていないか。
- □ 記載なしを「ない」と断定していないか。
- □ 数値、式、単位、解釈を確認したか。
- □ 出典を実際に確認したか。
- □ 出典が主張を直接支持しているか。
- □ 未確認の箇所を分けて残したか。
- □ 修正後の関連箇所も見直したか。
すべてを同じ重さで点検するのではなく、誤りが判断へ与える影響を踏まえて確認します。
31.よくある失敗と直し方
失敗①:自然な文章なので正しいと感じる。
主張ごとに根拠を対応させ、読みやすさと正確さを分けて見ます。
失敗②:計算結果だけを確かめる。
入力値、式、単位、結果の解釈まで確認します。
失敗③:URLがあるので根拠ありとする。
元の資料を開き、該当する内容と条件を確かめます。
失敗④:複数のAIが一致したので採用する。
回答の一致を、独立した事実確認の代わりにしないようにします。
失敗⑤:誤りを一か所直して終える。
その前提を使った表、見出し、結論も見直します。
失敗⑥:不明な部分を、もっともらしい説明で埋める。
根拠不足や判断保留として残し、次に確認する資料や相手を決めます。
32.今回の要点
今回の要点は、次の五つです。
- 依頼に合うことと、内容が正しいことを分ける。
- 回答を主張ごとに分け、確認方法を選ぶ。
- 元資料の意味、条件、版を照合する。
- 計算と出典は、回答とは別に確かめる。
- 確認できた範囲を残し、修正の影響まで見直す。
検証では、すべてを正しいように整えるのではなく、何を確認でき、何が残っているかを明確にします。
33.仕事で使える基本プロンプト
今回の内容をまとめた基本プロンプトです。
あなたは、AIの回答を根拠と照合する作業を手伝う相談相手です。
【回答の用途】
[記入]【検証する回答】
[記入]【元資料と版・記載位置】
[記入]【確認済みの計算や外部資料】
[記入]【未提供・未確認の情報】
[記入]次の順で整理してください。
1.確認が必要な主張の抽出
2.記述の種類と適した確認方法
3.元資料との一致、追加、省略
4.条件、否定、適用範囲の変化
5.数値の入力値、式、単位、結果、解釈
6.出典が支持する範囲と不足
7.別の説明や反例の確認候補
8.確認済み、要修正、条件付き、根拠不足、判断保留の分類
9.修正方針
10.表、見出し、結論への修正の影響提供されていない資料を確認したように扱わないでください。出典の存在と、主張を裏付けることを区別してください。資料との一致を、現実の事実まで確認済みと扱わないでください。不明な部分を補わず、次に必要な確認を示してください。
34.まとめと次回予告
AIの回答を仕事へ使うときは、文章の完成度とは別に、数値、条件、出所を確認する必要があります。
どの主張を、何で確かめたのか。どこまで使え、何を保留するのか。
ChatGPTには、その確認作業を整理する役割を持たせましょう。重要な内容は、元資料や計算、正式な情報へ戻って確かめます。
今回の実践では、一つの回答から三つの主張を選び、「確認する根拠」「確認結果」「使う際の条件」を書いてみてください。
次回【第92回】は、「ChatGPTを使ってAIとの作業を記録する方法|入力情報・修正の経緯・採用した判断を残す実践講座」を予定しています。
後から作業を確認し、同じ修正を繰り返さずに進めるために、何を記録し、どのように残すかを学びます。
それでは、また次回。ソラ先生でした。