ChatGPTソラ先生と学ぶ!中級者のためのAI実践講座【第96回】ChatGPTを使ってAI活用の効果を確かめる方法|作業時間・修正の負担・成果物の質を記録し、改善につなげる実践講座
1.はじめに
皆さん、こんにちは。ソラ先生です。
前回は、入力、作成、確認、修正をつなぎ、AIを使う仕事の手順を整える方法を学びました。
手順ができたら、実際に使い、仕事にどう役立っているかを確かめます。
「文章を早く作れるようになった」
「考える材料が増えた」
「確認する手間が、かえって増えた気がする」
こうした感想は、振り返りの出発点になります。ただし、感想だけでは、どの工程が改善し、どこに負担が残っているかを判断しにくいことがあります。
賢ちゃん、今回は、作業時間、修正の負担、成果物の質を記録し、条件をそろえて比較する方法を学びましょう。
なお、今回の実務例と数値は説明用です。実際の社内の出来事や成果を示すものではありません。
2.今回の到達目標
今回は、次の五つを目指します。
- AI活用によって何を改善したいかを決める。
- 準備から完成までの時間と負担を記録する。
- 成果物の質を、具体的な基準で確認する。
- 比較条件の違いと、記録の限界を整理する。
- 記録を基に、継続・修正・保留を判断する。
AIを使ったこと自体を成果にせず、仕事の目的に照らして確かめます。
3.最初に「何のために使うか」を決める
効果を確かめるには、改善したいことを先に決めます。
例えば、次のような目的があります。
- 返信文案を作る時間を短くする。
- 資料から条件を抜き出す際の漏れを減らす。
- 比較表を作る負担を減らす。
- 検討する選択肢を増やす。
- 引き継ぎ資料を読みやすくする。
目的によって、見るべき記録は変わります。
「時間を減らしたい」のか、「確認の抜けを減らしたい」のかを明確にしましょう。
4.評価する仕事の範囲をそろえる
比較する範囲が違うと、数値を並べても意味がずれてしまいます。
例えば、従来の方法では確認まで含め、AIを使う方法では文案作成だけを測れば、公平な比較になりません。
開始と終了を決めます。
「必要な資料を準備し始めた時点から、内容確認を終えて採用版を確定した時点まで」
このように、両方で同じ範囲を扱います。
送付や登録まで含める場合は、その条件もそろえます。
5.時間・負担・質を分けて見る
効果は、一つの指標だけで判断しないようにします。
| 観点 | 記録する内容の例 |
|---|---|
| 作業時間 | 準備、入力、作成、確認、修正に使った時間 |
| 修正の負担 | 修正箇所、原因、再確認の範囲 |
| 成果物の質 | 正確さ、抜け、分かりやすさ、目的への適合 |
| 運用上の負担 | 資料整理、記録、担当間の受け渡し |
| 利用後の状態 | 追加説明や差し戻しの有無 |
速く作れても、重要な条件が抜けていれば、そのまま使用できません。
複数の観点を並べて判断します。
6.プロンプト例①:評価項目を決める
以下のAI活用について、効果を確かめるための評価項目を整理してください。
【対象の仕事】
○○【改善したいこと】
○○【作業の開始と終了】
○○作業時間、修正の負担、成果物の質の観点から、記録する項目を提案してください。
各項目について、何を記録するか、どう確認するか、判断上の注意点を示してください。
まだ測定していない効果を、確認済みとして説明しないでください。
記録項目は、実際に続けられる数へ絞りましょう。
7.比較する基準を用意する
AIを使った方法の記録だけでは、以前より改善したかを判断できない場合があります。
比較の基準として、次が考えられます。
- 従来の方法で行った作業記録。
- 同じ条件の練習用課題。
- 現在使用している手順での記録。
- あらかじめ定めた品質基準。
過去の時間が記録されていない場合は、「以前はこれくらいだったはず」という推定を実測値と混ぜないようにします。
比較できる記録がないときは、まず現状を測るところから始めます。
8.仕事の難しさも記録する
同じ返信文作成でも、内容によって難しさが違います。
例えば、質問が一つの案件と、複数資料の照合が必要な案件では、所要時間が変わります。
次の条件も記録しましょう。
- 質問や確認項目の数。
- 資料の量と形式。
- 未確認事項の数。
- 新しい判断の必要性。
- 担当者の経験。
- 使用した手順の版。
時間の差を見るときに、仕事の条件も一緒に確認します。
9.同じ課題を二度行う場合の注意点
同じ課題を、従来の方法とAIを使う方法で試すと、内容をそろえやすくなります。
ただし、二度目は内容を覚えているため、作業が速くなる可能性があります。
そこで、似た難しさの別課題を使ったり、複数の課題で実施順序を変えたりする方法を検討します。
一つの比較だけで、時間の差がすべてAIによるものだと決めないことが大切です。
10.工程ごとに時間を記録する
合計時間だけでは、どこに変化があったか分かりません。
次のように分けて記録します。
| 工程 | 記録する時間 |
|---|---|
| 準備 | 資料の収集、版の確認、入力用の整理 |
| 指示 | プロンプトの作成と調整 |
| 作成 | 出力の取得と内容の整理 |
| 確認 | 原資料との照合、確認者の点検 |
| 修正 | 指摘への対応と再確認 |
| 完了処理 | 採用版の確定、記録、受け渡し |
複数の人が担当する場合は、それぞれの作業時間を記録します。
11.人の作業時間と経過時間を分ける
人が実際に手を動かした時間と、開始から終了までの時間は異なります。
例えば、出力や担当者の返答を待つ時間があります。
- 作業時間: 人が作業に使った時間。
- 経過時間: 待ち時間も含め、開始から終了までにかかった時間。
また、二人が同時に10分ずつ作業した場合、人の作業時間の合計は20分でも、経過時間は10分の場合があります。
目的に合わせ、どちらを比較するかを明記します。
12.プロンプト例②:時間の記録表を作る
以下の作業工程に合わせて、時間を記録する表を作成してください。
各工程について、担当、開始、終了、実作業時間、待ち時間、作業内容、補足を記載できる形にしてください。
複数担当者の時間が重なる場合に、作業時間の合計と経過時間を区別できるようにしてください。
未記録の時間は、ゼロとして扱わないでください。【作業工程】
ここに記載します。
すべてを細かく測れない場合は、記録した範囲を明確にします。
13.初回の準備と繰り返す作業を分ける
AIを使い始める際には、ひな形や確認表を作る時間が必要になることがあります。
その時間を無視すると、導入時の負担が見えません。
一方、初回だけの準備を毎回の作業時間に含めると、繰り返す仕事の状態を捉えにくくなります。
次のように分けます。
- 初回の手順作成。
- プロンプトや確認表の整備。
- 毎回の作業。
- 定期的な見直し。
何回使えば負担がどう変わるかを考える場合も、将来の使用回数は見込みとして扱います。
14.修正回数だけでは負担を判断できない
「修正が一回だった」という記録だけでは、修正の重さが分かりません。
誤字一文字の修正と、回答方針の作り直しでは、必要な作業が違います。
修正は、例えば次のように分けます。
- 表記や言い回し。
- 条件の抜け。
- 数値や事実の誤り。
- 指示した構成からのずれ。
- 方針の変更。
- 入力情報の不足に伴う修正。
修正箇所と原因、対応に使った時間を記録すると、改善点が見えてきます。
15.誤りの重要度を区別する
誤りの件数が少なくても、重要な条件を一つ間違えれば、使用できないことがあります。
例えば、次の違いがあります。
「句読点の位置が不自然」
「対応できない条件を、対応可能と記載している」
評価では、件数に加えて、影響を確認します。
重大な誤りの扱いを先に決め、平均点や時間短縮だけで打ち消さないようにしましょう。
16.成果物の質を具体的に定義する
「よい文章」「分かりやすい資料」という評価だけでは、人によって基準が変わります。
説明用の例として、返信文案なら次を確認できます。
| 評価項目 | 確認する内容 |
|---|---|
| 正確さ | 数値、名称、条件が資料と一致している |
| 網羅性 | 質問への回答がそろっている |
| 条件の明示 | 適用条件と未確認事項が分かる |
| 分かりやすさ | 結論と次の手続きを把握できる |
| 目的への適合 | 今回の対応方針に沿っている |
評価項目は、実際に使う人と仕事の目的に合わせて決めます。
17.プロンプト例③:品質の確認基準を作る
以下の成果物について、品質を確認する基準を作成してください。
【成果物】
○○【使用する人と目的】
○○【必ず満たす条件】
○○各項目について、確認内容、照合する情報、満たしていると判断する条件を示してください。
使用前に必ず修正する問題と、改善候補として扱える問題を分けてください。
基準を決めるための情報が不足する場合は、その不足を示してください。
評価後に都合よく基準を変えないよう、試す前に用意します。
18.評価結果には理由を添える
点数を付ける場合も、点数だけを残さないようにします。
例えば、「分かりやすさ4点」だけでは、何がよく、何が不足しているか分かりません。
「結論は冒頭にあるが、次の手続きが二つの段落に分かれている」
このように、該当箇所と理由を記録します。
可能なら、作成方法を伏せて確認してもらうと、AIを使ったかどうかによる先入観を抑える助けになります。ただし、それだけで評価の偏りがなくなるわけではありません。
19.説明用の数値で時間を比較する
ここで、架空の数値を使って考えます。
以下は、人の作業時間を比べるための説明用の例です。
| 工程 | 従来の方法 | AIを使う方法 |
|---|---|---|
| 準備 | 5分 | 8分 |
| 指示・作成 | 20分 | 6分 |
| 確認 | 8分 | 12分 |
| 修正 | 7分 | 4分 |
| 合計 | 40分 | 30分 |
合計の差は10分です。
従来の40分を基準にすると、減少割合は次のようになります。
(40分-30分)÷40分×100=25%
これは、この架空の一例についての計算です。一般的な時間短縮率を示すものではありません。
20.合計の差から工程へ戻る
先ほどの例では、合計時間は短くなっています。
一方、準備と確認の時間は増えています。
ここから、次のような検討ができます。
- 入力資料を整える負担を減らせるか。
- 出力に根拠を添えることで照合しやすくなるか。
- 同じ確認を重複していないか。
- 確認時間の増加が必要な品質確保に使われているか。
確認時間が増えたことだけで、無駄とは判断しません。何を確かめた時間なのかを見ます。
21.記録のない項目をゼロにしない
時間や誤りの記録がない場合、ゼロと扱ってしまうと結果が変わります。
例えば、「修正時間の記録なし」は、「修正に時間がかからなかった」という意味ではありません。
記録には、次を区別します。
- 実測値。
- 推定値。
- 記録なし。
- 対象外。
推定値を使う場合は、その根拠と、判断への影響を示します。比較に必要な記録が不足しているなら、次の試行で補います。
22.プロンプト例④:記録を比較する
以下の作業記録を比較してください。
工程別の時間差、修正内容、品質基準の達成状況を整理してください。
時間の合計と減少割合を計算する場合は、対象範囲と計算式を示してください。実測値、推定値、未記録を区別し、未記録をゼロで補わないでください。
作業条件の違いを示し、AIの効果だと断定できない点を明記してください。【比較する記録】
ここに記載します。
計算結果は、元の記録と式を照合して確かめましょう。
23.一件の結果だけで一般化しない
一件で時間が短くなっても、次の案件では違う結果になることがあります。
複数回試したら、平均だけでなく、各回の条件と結果を残します。
- どの案件で負担が減ったか。
- どの案件で確認が増えたか。
- 結果のばらつきは大きいか。
- 特定の資料形式で問題が続いていないか。
件数が少ない場合は、限定した条件での結果として扱います。
記録を増やす目的は、よい数字を集めることではなく、使いやすい条件を把握することです。
24.差が生まれた原因を分けて考える
結果が改善していても、AIだけが原因とは限りません。
例えば、次の変化が重なっている可能性があります。
- 担当者が仕事に慣れた。
- 資料が整理された。
- 確認表を導入した。
- 案件の難しさが変わった。
- プロンプトや手順を変更した。
確認できた事実と、考えられる原因を分けます。
次の試行では変更点を絞り、何の影響を確かめたいかを明確にしましょう。
25.数字にしにくい変化も記録する
すべての価値を時間で表せるわけではありません。
例えば、検討の観点が増えた、引き継ぎ時の質問が具体的になった、といった変化があります。
その場合は、具体的な記録を残します。
「考えやすくなった」だけでなく、
「比較表に維持費の項目が追加され、確認事項として採用された」
というように、出力と人の判断を結び付けます。
感想は感想として残し、確認できた変化と区別します。
26.継続・修正・保留を判断する
記録がそろったら、次の対応を決めます。
| 判断 | 考え方の例 |
|---|---|
| 継続 | 必要な品質を満たし、目的に沿う効果が確認できる |
| 修正して継続 | 一部の工程に負担や誤りが集中している |
| 適用範囲を限定 | 特定の仕事や条件では使える |
| 保留 | 判断に必要な記録が足りない |
| 使用方法を変更 | 現在の役割分担や処理範囲が合っていない |
判断基準は、実際の仕事の重要性と目的に合わせます。
時間短縮だけで採用を決めず、満たすべき品質も確認しましょう。
27.改善する点を一つに絞って試す
複数の変更を同時に行うと、何が結果に影響したか分かりにくくなります。
例えば、確認に時間がかかるなら、
「抽出した条件に、参照資料の記載箇所を添える」
という変更を一つ試します。
その後、照合時間、読み違い、修正内容を記録します。
試行期間や件数も先に決め、途中の一件だけで結論を出さないようにします。重大な問題が見つかった場合の停止条件は、別に設定しておきます。
28.プロンプト例⑤:評価結果を改善につなげる
以下の評価記録から、次回の改善案を整理してください。
【目的と評価基準】
○○【作業時間と修正記録】
○○【品質の確認結果】
○○【比較条件の違い】
○○確認できた事実、原因の仮説、不足する記録、現時点の判断を分けてください。
次回変更する点を一つ選び、記録する項目と判断条件を示してください。
改善効果を保証せず、試行で確かめる内容として提案してください。
判断と、その判断が成り立つ条件を一緒に残します。
29.実践演習:10ステップでAI活用の効果を確かめる
機密情報を含まない仕事を選び、記録と比較を行ってみましょう。
ステップ1:対象の仕事を決める
評価する範囲を一つに絞ります。
ステップ2:改善したいことを書く
時間、漏れ、確認負担など、目的を具体化します。
ステップ3:開始と終了を決める
両方の方法で、同じ範囲を比較できるようにします。
ステップ4:品質基準を決める
必ず満たす条件と、修正が必要な問題を整理します。
ステップ5:記録表を用意する
工程別の時間、修正内容、案件条件を記載できるようにします。
ステップ6:比較の基準を記録する
従来の方法や現在の手順で、実際の作業を記録します。
ステップ7:AIを使う方法を試す
準備、指示、確認、修正を含めて記録します。
ステップ8:時間と品質を比較する
条件の違い、未記録、重大な問題も確認します。
ステップ9:現時点の判断をまとめる
継続、修正、限定、保留などを理由と一緒に記載します。
ステップ10:次の試行を決める
変更する点と、効果を確かめる方法を設定します。
30.効果を確かめるためのチェックリスト
- 改善したい目的を明確にしている。
- 比較する作業の開始と終了がそろっている。
- 案件の難しさや資料の条件を記録している。
- 準備、確認、修正の時間も含めている。
- 作業時間と経過時間を区別している。
- 初回準備と毎回の作業を分けている。
- 品質基準を比較前に決めている。
- 修正の内容と重要度を確認している。
- 未記録や推定値を実測値と区別している。
- 判断の限界と次に確かめることを残している。
記録が足りない項目は、次回の測定方法へ反映します。
31.よくある失敗と直し方
失敗1:AIの出力時間だけを測る
資料準備、指示、確認、修正まで含め、仕事全体で比較します。
失敗2:難しさの違う案件をそのまま比較する
質問数、資料量、未確認事項などを記録し、条件の違いを示します。
失敗3:修正回数だけで質を判断する
修正箇所、原因、重要度、対応時間も確認します。
失敗4:記録のない時間をゼロにする
未記録として残し、計算や判断への影響を示します。
失敗5:一度の改善を一般的な成果として説明する
試した件数と条件を明記し、確認できた範囲で判断します。
失敗6:よい結果だけを集める
負担が増えた例や、使用できなかった例も残し、適用条件の見直しに使います。
32.今回の要点
- 評価の出発点は、仕事の改善目的です。
何をよくしたいかによって、記録する項目を決めます。 - 準備から完成までを見ます。
出力の速さに加え、確認と修正の負担を含めます。 - 品質は具体的な基準で確かめます。
正確さ、抜け、条件の明示、目的への適合を確認します。 - 比較条件と記録の限界を示します。
案件差、慣れ、未記録などの影響を分けて考えます。 - 評価を次の改善につなげます。
継続や修正を判断し、次に試す変更点を絞ります。
33.仕事で使える基本プロンプト
あなたは、AI活用の効果を記録から検討する補助役です。
以下の情報を基に、作業時間、修正の負担、成果物の質を整理してください。【対象の仕事】
○○【AIを使う目的】
○○【比較する作業の開始と終了】
○○【比較対象の方法と条件】
○○【工程別の時間記録】
○○【修正内容と重要度】
○○【品質基準と確認結果】
○○【案件や担当者、手順の違い】
○○次の10項目でまとめてください。
1.評価の目的と対象範囲
2.記録した件数と条件
3.工程別の時間と合計
4.作業時間と経過時間の区別
5.初回準備と繰り返す作業の区別
6.修正内容、原因、重要度
7.品質基準の達成状況
8.比較条件の違いと判断の限界
9.現時点での継続・修正・限定・保留の判断案
10.次回変更する点と確かめ方次の条件を守ってください。
・実測値、推定値、未記録を区別してください。
・未記録をゼロで補わないでください。
・計算する場合は、使用した値と計算式を示してください。
・記録にない時間短縮、品質向上、成果を作らないでください。
・重大な誤りを、平均点や時間短縮で打ち消さないでください。
・確認できた事実と原因の仮説を分けてください。
・AI以外の変更による影響も検討してください。
・記録が不足する場合は、判断を限定し、追加で記録する項目を示してください。
34.まとめと次回予告
今回は、ChatGPTを使って、AI活用の効果を確かめる方法を学びました。
出力が速くなったかだけでなく、準備、確認、修正を含めて記録すると、仕事のどこが変わったかを把握しやすくなります。
成果物の質と比較条件も確かめることで、継続する範囲や、見直す工程を考えられます。
賢ちゃん、振り返りでは、次の問いを置いてみてください。
「どの条件で、何が改善し、どこに負担や課題が残っただろうか」
その答えを記録することが、次の使い方を整える材料になります。
次回、第97回は、
「ChatGPTを使ってAI活用の範囲を見直す方法|続ける仕事・広げる仕事・人に戻す仕事を判断する実践講座」
をお届けします。
今回の評価結果を基に、AIを使う範囲をどう調整するかを学びます。
それでは、また次回。ソラ先生でした。