AI対応品質とは、速さと正しさを別々に測ること
問い合わせ返信、社内FAQ、議事録、営業メモなどへAIを導入すると、最初に「何分短縮できたか」が注目されます。しかし、AIが作った文章を人が一行ずつ読み直し、根拠を探し、例外案件を別の担当者へ送り直しているなら、業務全体が軽くなったとは限りません。作成時間が短くなっても、確認時間と手戻りが増えることがあるためです。
ここでいうAI対応品質は、文章が自然かどうかだけではありません。承認済み情報と一致しているか、担当者が無理なく確認できるか、AIが扱ってはいけない案件を止められるかまで含む運用品質です。会社がAI導入前に決めるべきなのは、速さの目標より先に、どの誤りを許容せず、誰が確認し、どの条件で人へ戻すかです。
評価対象は一つの業務に絞ります。「問い合わせ対応全体」のように広げず、「営業時間に関する返信下書き」「資料請求の分類」など、入口、出力、確認者が同じ作業を選びます。入力してはいけない情報はAIに送ってはいけない情報の決め方、担当分担は生成AI導入後の責任者と役割分担と合わせて決めます。
正確性・確認負荷・例外対応の3指標
| 指標 | 記録する内容 | 危険な見方 |
|---|---|---|
| 正確性 | 事実、数値、条件、固有名詞、禁止表現の一致 | 文章が自然なら合格 |
| 確認負荷 | 確認時間、修正箇所、参照した正本、差し戻し回数 | AIの生成時間だけを計測 |
| 例外対応 | 停止条件の検出、戻し先、見逃し、誤停止 | 止まった件数を失敗扱い |
正確性は、回答全体を感覚で採点せず、確認項目へ分けます。営業時間、価格、対象範囲、日付、商品名、引用元などを正本と照合し、「一致」「要修正」「停止」の三段階で記録します。文体が整っていても、条件が一つ抜ければ顧客判断に影響する場合があります。逆に、表現を少し整えるだけの修正と、事実誤認は分けて数えます。
確認負荷は、人が最終承認までに使った時間と行動を測ります。出力を読む時間だけでなく、根拠を探す、別部署へ質問する、CRMを開く、文章を作り直すといった作業も含みます。確認者が変わると時間が変わるため、役割と経験も記録します。「AIは10秒で作った」という数字だけでは、現場の負担を説明できません。
例外対応は、AIが正しく答えた件数ではなく、答えるべきでない案件を正しく止めたかを見ます。契約、返金、苦情、事故、安全、本人確認、個人情報などを停止条件にし、検出できた件、見逃した件、通常案件を誤って止めた件を分けます。停止は故障ではなく、安全な運用機能です。
評価表は9項目で作る
評価表には、少なくとも「案件ID」「業務種別」「ケース分類」「正本」「正確性の結果」「確認時間」「修正理由」「停止条件」「最終判断」の九項目を置きます。顧客名や問い合わせ全文を評価表へ複製する必要はありません。権限管理された原文へ案件IDで戻れるようにします。
- 案件ID：個人名ではなく管理番号で追跡する。
- 業務種別：返信下書き、分類、要約など評価対象を固定する。
- ケース分類：通常、境界、停止のどれかを人が確定する。
- 正本：FAQ、料金表、契約条件など照合先を明記する。
- 正確性：一致、要修正、停止を項目別に残す。
- 確認時間：根拠確認と修正を含む実時間を測る。
- 修正理由：誤情報、条件不足、過剰断定、文体修正を分ける。
- 停止条件：検出、見逃し、誤停止を記録する。
- 最終判断：続ける、直して再試験、対象外にするを決める。
修正後の完成文だけを残すと、なぜ人の確認が必要だったのかが消えます。重要なのはAIとの会話をすべて保管することではなく、次の担当者が同じ迷いを繰り返さないための判断を残すことです。これは「記憶の保管ではなく、記憶の補完」です。具体的な記録項目は小さな会社のAI活用ログ7項目でも整理しています。
通常・境界・停止ケースを混ぜて試す
過去の簡単な案件だけを使うと、AIの品質を実際より高く見積もります。試験データには、承認済みFAQだけで答えられる通常ケース、情報不足や条件の組み合わせがある境界ケース、人へ戻すべき停止ケースを含めます。通常だけ速く処理できても、境界と停止を見分けられなければ本番運用は安定しません。
- 通常ケース：定型情報だけで回答でき、正本と担当が明確。
- 境界ケース：複数要件、曖昧な期限、過去対応との矛盾など、人の判断が必要。
- 停止ケース：契約、返金、苦情、安全、機微情報など、権限者へ戻す。
各ケースでAIありと現行運用を比べます。同じ種類の案件について、完了までの総時間、修正件数、確認者の迷い、見逃しを記録します。比較条件が違うと、AIの効果なのか案件の簡単さなのかを判別できません。試験導入の継続判断は生成AIの試験導入で決める成功基準も参照してください。
件数に万能な基準はありません。件数を増やす前に、自社で頻出する種類と影響の大きい例外が含まれているかを確認します。頻度が低くても影響が大きい停止ケースは、模擬データや匿名化したケースで試します。個人情報や契約情報を評価用に無断で複製しないよう、データ準備の責任者も決めます。
5手順で「続ける・直す・止める」を判断する
- 対象業務を一つ選ぶ：入口、正本、出力、確認者を固定する。
- 合格条件を先に書く：許容しない誤り、確認時間、停止条件を決める。
- 3種類のケースを試す：通常、境界、停止を同じ評価表で記録する。
- 原因を分ける：AI、入力、正本、業務ルール、担当分担のどこに問題があるかを見る。
- 最終判断を残す：続ける、修正後に再試験、対象外のいずれかを責任者が確定する。
結果が悪い時に、すぐプロンプトだけを直すのは避けます。正本が古い、フォームの入力が足りない、停止条件が曖昧、確認者に権限がないという業務側の問題もあります。原因ごとに改善先を分けると、AIを入れ替えても同じ問題が残る状態を防げます。
続ける条件は「平均が良い」だけでは不十分です。重大な誤りが一件あれば停止するのか、軽微な文体修正は許容するのかを先に決めます。直す場合は再試験日と責任者を置きます。止める場合も、対象外にした理由と人の代替手順を残せば、次回の導入判断を助ける運用記憶になります。
速度指標を使う時の注意点
速度は不要ではありません。受付から一次整理まで、確認開始から承認まで、顧客へ返すまでを分けて測ります。AIの生成時間だけでなく、業務の入口から完了までを見ることで、確認待ちや差し戻しを含む本当のリードタイムが分かります。
処理件数を増やす目標も、品質指標と組み合わせます。件数が増えても、確認待ちが積み上がれば顧客体験は改善しません。担当者が急いで承認するようになれば、見逃しの危険も増えます。速度、正確性、確認負荷、例外対応を一つの会議で確認し、どれか一つだけを成果にしないことが大切です。
AIスキルや公開プロンプトは他社も入手できます。しかし、「価格条件が曖昧なら営業へ戻す」「この苦情表現は責任者が読む」という会社固有の判断はコピーできません。品質評価で得た修正理由と停止判断をFAQ、フォーム、承認ルールへ戻すことが、運用の差になります。
よくある質問
AI対応品質で最初に測る指標は何ですか？
正確性、確認負荷、例外対応の三つです。速度や処理件数は補助指標として使い、完了までの総時間を測ります。三つを同時に見ると、速くなった代わりに確認作業が増えた状態を発見できます。
AI回答の正確性はどう評価しますか？
承認済みの正本と照合し、事実、条件、数値、固有名詞、禁止表現ごとに一致、要修正、停止を記録します。文章の自然さと事実の正しさは別に評価してください。
何件試せば自動化を判断できますか？
一律の件数では決められません。対象業務で多い通常ケースに加え、境界ケースと停止ケースが含まれる期間・件数を選びます。同じ条件で人の現行運用と比較し、重大な見逃しがないかを確認します。
AIが停止した件数は少ない方がよいですか？
必ずしもそうではありません。停止対象を正しく止めた件数は安全機能が働いた結果です。正しい停止、見逃し、誤停止を分けて評価し、誤停止が多い場合は条件を調整します。
次の一歩：10件の評価表を作る
まず一つの業務から、通常、境界、停止を含む10件程度を選び、正確性、確認負荷、例外対応を記録してください。件数を成果にせず、どの修正理由が繰り返したか、どの停止条件で迷ったかを確認します。そこからFAQ、正本、入力項目、人間確認のどこを直すかを決めます。
Miraigentの無料AI導入診断では、対象業務、正本、人間確認、例外、判断ログを棚卸しします。AIの処理速度は上がったのに現場の確認負荷が減らない場合は、ツールを追加する前に品質指標と運用ルールを一緒に整理できます。