AIエージェントに業務を任せるとき、つまずきの多くはモデルの賢さではなく「どこで人が止めるか」の設計不足から起きます。承認ゲートの置き方、権限の絞り方、失敗時の戻し方を、実務で使えるチェックリストにまとめました。
なぜ「人が確認する」だけでは足りないのか
調査では、AIエージェントのパイロットの多くが本番に届かないと報告されています。たとえば Collibra×Harris Pollの調査（2026年9月）では、76%が試験運用から本番移行で壁に当たったと答え、87%がエージェント向けの文脈の再確認に時間を取られているとのことです。数字の出どころは調査ごとに異なるため傾向として読むのが無難ですが、「運用設計が追いついていない」点は共通しています。
Workdayの調査を引用したParseurの解説によると、リーダーの70%が人による確認を容易にすべきと考える一方、従業員の42%は「どのシステムが人の監督を要するか」が不明確だと答えています。「確認する」と決めても、誰が・何を・いつまでに確認するかが曖昧なら機能しません。
設計の基本：人は「ループの中」か「ループの外」か
Elementumの整理では、人の関わり方を2種類に分けています。
| 方式 | 人の位置 | 向いている業務 |
|---|---|---|
| Human-in-the-Loop | 実行の途中で承認が必要。承認まで処理が止まる | 発注・送金・顧客への送信など、取り消しにくい操作 |
| Human-on-the-Loop | AIが先に実行し、人は監視して例外時に介入 | 分類・下書き・社内向け集計など、やり直しが利く操作 |
すべてを前者にすると承認待ちの行列ができ、AIで速くした意味が消えます。逆にすべてを後者にすると、後から監査で説明できません。操作ごとに振り分けるのが実務の要点です。
つまずき対策5つ
1. 承認の「トリガー」を具体的に書く
「必要なときに承認を取る」では運用がぶれます。NAV43の例のように、「初稿の生成後」「顧客向け公開の前」「新しい担当への割り当て時」など、止まる地点を列挙します。金額・外部送信・取り消し不可の3条件を最低ラインにすると決めやすくなります。
2. 承認待ちに期限と担当を付ける
失敗の形は、エラーではなく「静かに止まる」ことです。承認ゲートにはタイムアウト、リマインド、エスカレーション先、承認記録の保存を最初から用意します。承認者の階層（誰がどの金額まで承認できるか）も決めておきます。
3. 権限は最小にし、読んだ内容を信用しない
エージェントが外部の文書やWebを読む以上、そこに紛れた指示（プロンプトインジェクション）は避けられません。CodeAntの解説やNHIMGのガイドが挙げる対策は共通しています。
- エージェントごとに短命・最小権限の認証情報を持たせる
- 使えるツールやMCPサーバー、送信先を許可リスト化する
- 取り消せない操作や他ユーザーに影響する操作は明示承認にする
- 外部から読んだ内容は「データ」として扱い、指示と同格にしない
OWASPもエージェント向けのリスクとして、メモリ汚染・ツールの誤用・権限の侵害を挙げています。
4. 暴走と二重実行に備える
あるLinkedIn投稿（9 ways to govern AI agents）では、15時間・6,576ステップ動いても終わらなかった例が紹介されています。費用は小さくても、時間・操作回数・再試行回数の上限は必要です。また、メール送信がタイムアウトしたとき「失敗」か「送信済み」か分からないままリトライすると二重送信になります。何が依頼され、何が完了したかをエージェントの記憶の外に記録し、再開時に二重処理しない作りにします。
5. 試験運用の段階から業務フローごと作り直す
BCGの2026年CEO調査（ModelMindの要約）では、成果の高い企業はワークフローを端から端まで再設計している確率が約7倍とされています。既存の手順にAIを継ぎ足すだけでなく、承認や例外処理を含めて描き直すのが近道です。
開発現場の実例：Claude Codeの権限モード
この考え方は、Claude Codeの権限設定にも表れています。Claudeヘルプセンターによれば、権限システムはプロンプトインジェクション検知、静的解析、サンドボックス、人による監督を重ねる構成です。auto modeでは分類器が各操作を判定し、安全なものは自動承認、危険なものは確認に回します。
| 設定 | 役割 | 業務設計での対応 |
|---|---|---|
| deny | 常に拒否（分類器より先に適用） | 絶対に触らせない領域 |
| ask | 必ず確認（分類器は通過できない） | 必須の承認ゲート |
| auto | 分類器が自動判定 | やり直せる操作の自動化 |
denyとaskの仕組みはMonperrus氏の解説に基づきます。仕様は更新されるため、設定時は公式ドキュメントで確認してください。
導入前チェックリスト
- 操作を「取り消せる／取り消せない」で分類したか
- 承認が必要な条件（金額・外部送信・不可逆）を文章で決めたか
- 承認の期限・担当・エスカレーション先があるか
- 権限・ツール・送信先を最小にしたか
- 時間・回数の上限と、二重実行を防ぐ記録があるか
- 承認の履歴を後から追えるか
主な情報源
- Elementum: Human-in-the-Loop vs Human-on-the-Loop
- Parseur: Human-in-the-Loop Workflow
- NAV43: Human-in-the-Loop AI Agents for Marketing
- Collibra: 2026 Hallucination Tax Report
- ModelMind: The AI Operating System Gap
- CodeAnt: Prompt Injection in AI Agents
- NHIMG: Agentic AI Security Guide
- Claude Help Center: Claude Code power user tips
- Monperrus: Dissection of Claude Code’s auto-mode
各ツールは提供元の規約に従ってご利用ください。情報は各情報源の公開時点のものです。収集・要約はAI、公開判断は人。