試験運用チェックリストは「一度確認して終わり」にしない

生成AIを試す時、アカウント作成やセキュリティ確認だけをチェックリストにすると、開始後の判断が抜けます。誰が出力を確認したか、どの正本と照合したか、情報不足で止まれたか、修正に何分かかったかが残らず、最終会議では「便利だった」「まだ慣れていない」という感想しか集まりません。

チェックリストの役割は、手続きを済ませることではなく、会社が本導入を決めるための証拠をそろえることです。そのため、開始前は範囲と安全条件、毎件は出力と人間確認、週次は偏りと負荷、終了時は継続判断を確認します。対象は一つの業務に絞ります。問い合わせ返信、議事録要約、社内文書の下書きなどを一つの表で混ぜると、問題の原因と改善先を区別できません。

まだ対象業務を選べていない場合は、先にAI導入前の業務棚卸し7質問で入口、出力、判断者、例外を整理してください。期間や件数の設計は生成AI試験運用の期間の決め方と組み合わせると、開始条件と終了条件がつながります。

開始前に確認する7項目

確認項目決める内容未決定ならどうするか
1. 目的終了時に判断する問い「便利か」ではなく一業務の問いへ絞る
2. 対象範囲入口、作業、出力先自動送信を含めず下書きから始める
3. 正本参照する最新版と管理者版が不明なら試験を始めない
4. 入力禁止情報個人情報、認証情報、契約上の制約伏せ方と相談先を決める
5. 人間確認確認者、確認点、期限、代理確認者不在時は出力を使わない
6. 例外・停止人へ戻す条件と即時停止条件通常例だけで開始しない
7. 記録先毎件ログと最終判断の正本個人チャットではなく共有表へ置く

目的は「生成AIを活用する」ではなく、「商品FAQに沿う返信下書きを、人間の確認負荷を増やさず作れるか」のように書きます。これなら、出力の正確性、確認時間、例外で止まれたかを測れます。対象範囲には、AIが行わない作業も書きます。たとえば、AIは下書きまで、人が顧客情報と価格を照合し、人が送信するという境界です。

正本とは、AIが参照した社内情報の基準版です。FAQ、価格表、規程、契約書などが複数の場所に散らばっているなら、試験前に使用版と更新責任者を固定します。正本が変わった場合は変更日をログへ残し、その前後の結果を同じ条件として比較しません。入力禁止情報はAIへ送ってはいけない情報の決め方を参考に、データの種類だけでなく伏せ方と相談先まで決めます。

毎件確認する6項目

  1. 入力：禁止情報がなく、対象業務の範囲内か。
  2. 参照：使った正本と版を特定できるか。
  3. 出力：事実、数値、固有名詞、条件が正しいか。
  4. 修正：人が何を直し、何分かかったか。
  5. 例外：AIが答えず、人へ戻すべきケースだったか。
  6. 最終処理：誰が承認し、どこへ保存・送信したか。

毎件ログは長い報告書にしません。「価格表の版が古いため停止」「商品を特定できず、確認質問を人が追加」「苦情のため責任者へ戻した」のような一文で十分です。重要なのは、成功した出力だけでなく、止めた理由と直した理由を残すことです。公開プロンプトやAI機能は他社も利用できますが、自社で何を通常とし、どこで人へ戻したかという運用判断は簡単にはコピーできません。

修正時間は、AIの生成時間と分けて測ります。数秒で下書きができても、正本の確認と書き直しに十分かかれば、業務全体の改善とは言えません。評価はAI対応品質を測る3指標の正確性、確認負荷、安全性・例外対応へ分けると、速度だけに偏りません。

人へ戻った件数を一律に失敗へ数えないことも大切です。情報不足や契約判断を事前のルールどおり止めたなら、それは例外対応が機能した記録です。反対に、見た目のよい文章でも根拠を特定できない場合は、そのまま使えた件へ数えません。

週次確認では平均値と「最も迷った一件」を見る

週次確認では、件数、利用率、平均時間だけでなく、修正が最も多かった一件、正しく停止できた一件、判断が割れた一件を読みます。平均値だけでは、重大な条件漏れや確認者の負担集中が隠れるからです。担当者が複数いる場合は、担当者別の正解率を競わせず、判断の違いが生じた条件を正本やルールへ戻します。

  • 件数の偏り：通常例だけに偏り、境界・停止ケースが不足していないか。
  • 確認負荷：特定の人へ確認が集中していないか。
  • 修正理由：AIの指示、正本、入力、業務ルールのどこを直すべきか。
  • 新しい例外：開始前の一覧になかったケースを追加するか。
  • 継続可否：重大な問題があり、終了日を待たず止めるべきか。

禁止情報の入力、誤送信、権限逸脱、正本不明、重大な金額・契約判断などが起きた場合は、週次会議まで待ちません。即時停止し、影響範囲、連絡先、データの扱い、再開条件を責任者が確認します。問題の種類によっては法務・セキュリティの専門担当へつなぎます。

週次会議で決まった変更は、口頭だけで終わらせません。「価格に関する質問は下書き対象外へ変更」「確認者不在時は翌営業日へ保留」のように、変更理由、承認者、適用日を残します。これは記憶の保管ではなく、次の担当者が同じ迷いを繰り返さないための記憶の補完です。

終了時に確認する5項目と三つの判断

終了時の確認見る証拠判断への使い方
目的達成開始前の問いと現在値との差業務価値があったか
出力品質そのまま、修正、停止の内訳利用範囲を維持できるか
確認負荷修正時間、確認者の偏り運用を継続できるか
安全・例外停止事例、誤送信、正本不明条件変更や停止が必要か
費用・体制利用料、管理工数、責任者本導入後も維持できるか

最終判断は「本導入する」「条件を直して再試験する」「終了する」の三つです。本導入する場合も、対象件数、利用者、送信権限を一度に広げません。再試験では、不足していた証拠、直す条件、追加件数、新しい終了日を明記します。対象部門、入力情報、出力先を広げるなら、同じ試験の延長ではなく別の承認対象です。

終了する判断も、失敗として隠さないでください。「確認負荷が現在作業を上回った」「正本を一つにできず根拠確認ができなかった」という理由は、次の導入順を決める資産になります。開始時の責任分担が曖昧なら、生成AI導入後の責任者と役割表で業務責任者、確認者、実行者を分けます。

担当者が交代する場合は、操作手順だけでなく、直近の停止・保留・修正の理由も渡します。生成AIの引き継ぎメモ7項目を使い、正本、判断理由、例外、次の行動を一件分だけ残すと、試験終了後の運用へつなげやすくなります。

チェックリストを運用表へ変える5手順

  1. 一つの対象業務と終了時の問いを決める。
  2. 開始前7項目を責任者と確認し、空欄があれば開始しない。
  3. 毎件6項目を共有表へ短く記録する。
  4. 週次で平均値と最も迷った一件を確認し、変更理由を残す。
  5. 終了時5項目を使い、本導入・再試験・終了を決める。

表の列は「日時、ケース分類、入力確認、正本、出力判定、修正内容、確認時間、例外、承認者、改善先」で始められます。すべてを必須入力にして現場を止めるのではなく、安全と最終判断に必要な列を残し、選択式と短文を組み合わせます。個人名や問い合わせ原文など、記録へ不要な情報は入れません。

よくある質問

生成AIの試験運用チェックリストには何が必要ですか？

目的、対象範囲、正本、入力禁止情報、人間確認、例外・停止条件、記録先を開始前に決めます。その後、毎件の入力・参照・出力・修正・例外・承認と、週次・終了時の判断を追加します。

チェックリストは誰が確認しますか？

実行者だけに任せず、業務責任者、確認者、実行者を分けます。影響が大きい例外の承認者と、不在時の代理も決めます。AI担当者へ元の業務責任まで移さないことが重要です。

試験運用中に問題が出たらどうしますか？

禁止情報の入力、誤送信、権限逸脱、正本不明などは即時停止します。影響と再開条件を責任者が確認し、必要に応じて専門担当へつなぎます。終了日まで続けることを成功条件にしません。

すべての項目を毎回入力する必要がありますか？

開始前と終了時の項目は節目で確認し、毎件は6項目だけに絞ります。選択式を使い、例外や修正理由だけ短文にすると負担を抑えられます。ただし安全に関わる確認は省略しません。

次の一歩：直近一件を18項目に当てはめる

これから表を作る前に、直近でAIを使った一件を思い出してください。どの正本を見たか、誰が直したか、なぜ止めたか、どこへ改善を戻したかを説明できない場所が、次の試験で補う項目です。Miraigentの無料AI導入診断では、一つの業務を対象に、開始前・毎件・終了時のチェックを会社の運用へ合わせて整理します。