• ホーム
  • ブログ
  • エージェント型 AI ガバナンス: 自律型 AI エージェントの管理

エージェント型 AI ガバナンスとは (権限と出力の違い)

エージェント型人工知能 (AI) ガバナンスとは、AI エージェントに委任された権限を継続的に適用することです。これにより、リスク管理は定期的な出力レビューから、リアルタイムのアクション制御へと移行します。 これは、エージェント型 AI システムが実行時に許可される行動を制御するものであり、事後に生成されるものだけを制御するのではありません。

記事の重要なポイント

  • エージェント型 AI ガバナンスでは、静的なモデル出力のレビューから、リアルタイムで自律的なエージェントのアクションや、アプリケーション プログラミング インターフェース (API) へのアクセスの制御へと重点が移ります。
  • 堅牢なフレームワークには、4 つの柱が必要です。それは、最小権限に基づくアイデンティティ、実行時の制御、人間参加型 (HITL) の監視、改ざん不可能なトレーサビリティです。
  • オートメーション・エニウェアのガバナンスは構造的です。プロセスは決定論的に構築され、アイデンティティ、実行時の制御、可観測性が、後付けで追加されるのではなく、オーケストレーション レイヤーにネイティブに組み込まれています。
  • オートメーション・エニウェアは、エージェント型 AI ガバナンスをオーケストレーション レイヤーに直接統合し、不正なアクションを実行前に防止します。 この設計により、不正なアクションを実行前に防ぎ、ガバナンスの対象を実行前の段階に広げます。具体的には、プロセス シミュレーションやエージェント評価を活用して、本番環境での監視だけでなく、デプロイ前に動作を検証します。

従来の機械学習 (ML) ガバナンスは、出力が公正で、偏りがなく、正確であるかどうかを問います。 エージェント型ガバナンスでは、「このエージェントには、実際のデータ、API、基幹システムに対してこのアクションを実行する権限があるのか」という運用上の問いが追加されます。 それに応じてリスクの範囲も変化します。 2025 年の Forrester の調査によると、現在、企業における AI の障害の 72% は、不正確なテキスト生成によるものではなく、不正なシステム操作に起因しています。

AI エージェント オートメーションの障害の形態としては、不正確なテキストや偏った予測ではなく、不正な API 呼び出し、データ漏洩、機械的な速度で実行される取り消し不可能なアクションなどが挙げられます。 制御の適用対象は、エージェントが行動する場所へと移行しなければなりません。

こうした問題は通常、劇的なものではありません。たとえば、記録を取得するはずのサポート エージェントが、その記録を変更し始めたり、ベンダーを比較するはずの調達エージェントが、実際の見積書を送信してしまったりすることがあります。 各エージェントは実際の権限を使って行動しますが、本来の想定範囲外で行動することがあります。

従来型ガバナンスとエージェント型ガバナンスの比較

ディメンション

従来の ML ガバナンス

エージェント型 AI ガバナンス

ガバナンス対象

モデルの出力と予測

エージェントのアクション、ツールの使用、委任された権限

頻度

定期的なレビューとバッチテスト

継続的かつリアルタイムの実行時制御

核となる問い

「出力は公正で、偏りがなく、正確なものか?」

「この特定のアクションは承認済みで、範囲内であるか?」

障害の形態

ハルシネーション、偏りのある文章、不完全なロジック

不正な API 呼び出し、データの漏洩、取り消し不可能なアクション

監視モデル

人間による定期的な監査

ガバナンスされた自律性と人間参加型 (HITL) の監視の組み合わせ

エージェント型 AI ガバナンスのフレームワーク: 4 つの核となる要素

エージェント型 AI ガバナンスのフレームワークは、自律型エージェントの安全性を確保するための構造的モデルであり、アイデンティティとアクセス管理、実行時の制御、ガバナンスされた自律性、およびトレーサビリティで構成されます。 堅牢なフレームワークは、これら 4 つの相互依存する権限管理の制御要素に基づいています。

フレームワークの概要

制御要素

制御対象

重要である理由

制御の例

アイデンティティとアクセス管理

エージェントの権限と認証情報

エージェントが許可されていないシステムにアクセスするのを防ぐ

最小権限に基づく API スコープ設定

実行時の制御とガードレール

リアルタイムのポリシー適用と実行範囲の境界設定

プロンプト インジェクションや不正なアクションを実行中に阻止する

推論レイヤー外でのポリシー適用

ガバナンスされた自律性

意思決定の境界設定と人間による監督

取り消し不能、または高リスクのアクションが、承認を経て実行されるようにする

リスクレベルに応じた HITL 承認キュー

トレーサビリティとログ記録

アクション履歴と可観測性

インシデント対応、デバッグ、監査をサポートする

すべてのツール呼び出しに関する不変のログ

この動画では、オートメーション・エニウェアがリスク管理とコンプライアンス サポートのためのガードレールをどのように構築しているかをご覧いただけます。 役割とフレームワークを明確に定義することで、組織は AI の取り組みを安全に拡大することができます。 基本的な制御から高度な予測システムに至るまで、この領域はお客様のプログラムとともに進化し、持続可能な成長を後押しします。

アイデンティティとアクセス管理: デジタル ワーカーとしてのエージェント

エージェントのアイデンティティおよびアクセス管理とは、エージェントのシステムへのアクセス範囲を制限するために、一意かつ最小権限のマシン アイデンティティを割り当てる手法のことです。 各エージェントを、検証可能な認証情報を持つデジタル ワーカーとして扱います。そのアクセス権限は、タスクに必要なシステムとアクションのみに限定し、それ以外の権限は許可しません。 過剰な常時アクセス権限とは、Open Worldwide Application Security Project (OWASP) の「エージェント アプリケーションに関するトップ 10」において、エージェントのアイデンティティ、権限の悪用、インジェクションのリスクに関して指摘されている脆弱性を指します。

実際には、そのような権限を限定したアイデンティティを発行することは困難です。エージェントは API キーを共有したり、人間の認証情報を借用したりすることが多いため、個々のエージェントのアクセスを特定したり、アクセス権を取り消したりする方法がありません。 最小権限の原則は、各エージェントが個別に識別可能な場合にのみ成立します。

実行時の制御とガードレール

実行時の制御とガードレールは、エージェントの推論レイヤーとは独立して不正な呼び出しやプロンプト インジェクションを阻止する、リアルタイムのポリシー適用メカニズムです。 エージェントが推論によって回避できるガードレールには、保護機能がありません。 モデルの外部にある AI プロセス管理レイヤーでポリシーを強制適用することで、不正な呼び出し、データの漏洩、プロンプト インジェクションの試みを実行中に阻止できます。

ガバナンスされた自律性と人間参加型 (HITL) の監視

ガバナンスされた自律性とは、重大な影響を及ぼす、あるいは取り消し不可能なエージェントのアクションを、実行前に人間による検証へと振り分ける、リスクレベルに応じた監視モデルです。 ガバナンスによって、自律性がどこまで認められ、どこから人間の承認が必要になるかを定めます。 定型的なアクションは人間の介入なしで実行されますが、重大な影響を及ぼす、取り消し不可能、あるいは規制対象となるアクションについては、リスクレベルに応じた HITL 承認キューに振り分けられます。 自律性は、有効か無効かを切り替えるものではなく、リスクレベルによって決まる連続的な範囲のことです。

また、権限はタスクとともに引き継がれる必要があります。あるエージェントが別のエージェントに作業を引き継ぐ際、引き継ぎのたびに権限範囲が拡大しないよう、ガバナンスによって後続エージェントの権限範囲を制限する必要があります。

トレーサビリティとログ記録 (可観測性)

トレーサビリティとログ記録とは、監査可能性を確保し、インシデントに迅速に対応できるよう、エージェントによるすべてのツール呼び出しと意思決定の経路を、継続的かつ変更不可能な形で記録することです。 アクションレベルの履歴がなければ、組織は権限の正当性を証明したり、障害の原因を特定したり、コンプライアンス監査の要件を満たしたりすることはできません。 このトレーサビリティは、このプラットフォームの AI ガバナンスの基盤となっています。

オーバーレイ ガバナンスと、プラットフォームネイティブのガバナンスされた自律性

プラットフォームネイティブのガバナンスされた自律性は、中核となるオーケストレーション レイヤー内に境界を定めます。一方、オーバーレイ ガバナンスは、アクションが発生した後に別のレイヤーからエージェントを監視します。

どちらもそれぞれの役割があります。 監視用のオーバーレイは、環境が分散している場合に有用です。一方、問題の防止には、実行時の制御が最も効果的です。 成熟したプログラムでは、この 2 つを組み合わせます。エージェント型 AI プラットフォームにより違いが明らかになるのは、実際にポリシーが適用される場所です。

オーバーレイ ガバナンスと、プラットフォームネイティブのガバナンスされた自律性

ディメンション

オーバーレイ ガバナンス (セキュリティ/アイデンティティ ツール)

プラットフォームネイティブのガバナンスされた自律性

ガバナンスが適用される場所

個別のセキュリティ、アイデンティティ、可観測性のレイヤー

中核的なエージェント オーケストレーション プラットフォーム内

主な制御方法

監視、アラート、異常検知

実行時の防止、ポリシー適用、アクション阻止

アイデンティティ モデル

既存の人間向け IAM 構造に組み込み

ネイティブの最小権限に基づくマシン アイデンティティ

HITL の統合

外部の承認キューまたはチケット管理システム

自動化されたワークフローに組み込み

監査と可観測性

複数の異なるツールの情報をつなぎ合わせて把握

統合された継続的なアクション履歴

最適な用途

シャドー IT のサイロに分散するさまざまなエージェントのガバナンス

統合プラットフォーム上のスケーラブルなエージェントのガバナンス

規制およびフレームワークへの準拠

エージェント型 AI における規制およびフレームワークへの準拠とは、企業の管理体制を、新たに制定されつつある国際的な法律や自主的なリスク基準に対応させることを指します。 現在、エージェント型 AI を単独で統括する法律は存在しません。 各プログラムは、横断的な規制、自主的なリスク管理フレームワーク、エージェント固有のセキュリティ基準、地域または業界ごとのガイダンスを多層的に組み合わせて対応していますが、その多くは依然として自主的な取り組みであるか、導入段階にあるか、あるいは適用時期が延期されています。

  • EU AI 法 (拘束力あり、欧州連合 (EU)): 高リスク システムでは、システムの自律性のレベルに応じて、人による監督を可能にすることが求められます ( 第 14 条)。また、AI とのやり取りであることの開示が求められます ( 第 50 条)。 高リスク システムに関する義務の適用は 2027 年 12 月 2 日まで延期されます (デジタル オムニバス法案、採択待ち) が、第 50 条の透明性に関する事項は、2026 年 8 月から適用されます。
  • NIST AI RMF (任意、米国): 米国国立標準技術研究所の人工知能リスク管理フレームワーク (NIST AI RMF) は、AI リスクを企業のリスク戦略に組み込む際の基準です。このフレームワークにおける生成 AI プロファイルでは、自律駆動型エスカレーション、未検証ツールへのアクセス、プロンプト インジェクションなどのリスクに対応しています。エージェントを対象としたコントロール オーバーレイも草案として盛り込まれています。
  • OWASP (実務者向け標準): エージェントへの過剰な権限付与、ツールの誤用、アイデンティティ、プロンプト インジェクションなど、エージェントのセキュリティに関する実践的な管理ガイドラインであり、個々のモデルに依存しません。
  • 地域ごと、業界ごとのフレームワーク: 法域ごとや業界ごとの規則が新たに制定されつつあり、施行されているものも増えています。テキサス州の責任ある AI ガバナンス法 (TRAIGA) は、2026 年 1 月 1 日に施行されました。インドでは、勧告的な枠組みであるインド準備銀行 (RBI) の FREE-AI が、金融サービスにおける責任ある AI の指針を定めています。米国連邦政府による優先権行使の動きと各州の取り組みが衝突する中、今後さらに多くの規則の制定が予想されます。

ガバナンスされた自律性を評価し、実装する方法

ガバナンスされた自律性を評価し実装するには、後付けの監視機能ではなく、統合された権限管理基準に基づいてAI オーケストレーション プラットフォームを評価する必要があります。 エージェントを実行するプラットフォームには、設計段階からエージェントを統制する機能が組み込まれている必要があります。

以下のチェックリストを、調達時のテストとして活用してください。各項目は、成熟した AI ガバナンス プログラムにおいて、本番環境での実証が可能な管理指針です。

  • 最小権限に基づくエージェントのアイデンティティと認証情報の管理
  • 推論レイヤーから独立した実行時のガードレール
  • リスクレベルに応じて設定可能な HITL
  • エンドツーエンドのアクションのトレーサビリティと監査ログ
  • 企業の基幹システムとのネイティブ統合
  • NIST AI RMF、EU AI 法、OWASP のエージェント ガイダンスへの準拠

規模を拡大する前に、自社環境のシステム、セキュリティ モデル、コンプライアンス要件について、各管理策が確実に機能することを検証してください。 ガバナンスされた自律性が成立するためには、最初のパイロット段階から、アイデンティティ、監視、トレーサビリティが、説明責任を伴う責任ある AI の実践に根ざしている必要があります。

オートメーション・エニウェアの役割: ガバナンスされたエージェント オートメーション

オートメーション・エニウェアは、エージェントが稼働するオーケストレーション レイヤーに、厳格な権限制御とリアルタイムのポリシー適用を直接組み込むことで、ガバナンスされたエージェント オートメーションを実現します。

ガバナンスは実行プロセスに組み込まれています。各エージェントには、範囲が限定された最小権限に基づくアイデンティティが割り当てられ、エージェントが何らかのアクションを行う前から、その権限が制限されます。ポリシーはエージェントの推論とは独立して、リアルタイムで適用されるため、不正なアクションが発生した時点で即座に阻止されます。

オートメーション・エニウェアは、エージェント型 AI ガバナンスをネイティブに統合することにより、すべての自律的なアクションについて、最小権限に基づくアイデンティティに照らして実行前に検証が行われるようにします。 このアプローチにより、企業は、コンプライアンスとセキュリティ管理実行の基盤として、複雑なマルチエージェント ワークフローや複数のシステムにまたがるワークフローを拡張できます。 影響が大きい、あるいは取り消し不可能な手順は、リスクレベルに応じて人間による承認プロセスに振り分けられます。エージェント、ボット、および接続されたシステム全体におけるすべてのアクションについて、1 つの連続的なネイティブ監査証跡が生成されます。 また、ガバナンスの適用は実行前から開始されます。チームは、エージェントの挙動を事前に実行される決定論的プロセスに照らしてシミュレーションおよび評価し、本番環境で問題を発見するのではなく、デプロイ前に意思決定を検証することで、信頼性を高めます。

2025 年のオートメーション・エニウェアの社内顧客データによると、当社のガバナンスされたネイティブ エージェントを導入している企業は、コンプライアンス監査にかかる時間が 50% 短縮されています。 このアプローチの特徴は、ポリシー適用がどこで行われるかという点にあります。 作業を調整するエージェント オートメーション レイヤー内に制御機能が存在するため、これらの権限制御は、個別のツールに分散されることなく、マルチエージェントおよびクロスシステムの実行全体にわたって維持されます。

また、責任ある AI イノベーションとガバナンスがプラットフォームに組み込まれているため、ガバナンスは自律性とともに拡張され、最初のパイロット段階から本番運用まで一貫して維持されます。

エージェントの役割の進化

ディメンション

従来 (ガバナンスなし/手動/オーバーレイ)

導入後 (プラットフォームネイティブのガバナンスされた自律性)

エージェントの権限

広範、暗黙的、または人間の認証情報から借用されたもの

厳格に範囲を限定し、最小権限のマシン アイデンティティ

高リスクのアクション

監視されない、または事後にロールバックされる

実行前に、リスクレベルに応じた HITL ゲートを適用

監査とトレーサビリティ

分散したログから手動で再構成

継続的かつネイティブなアクション履歴

チームの役割

問題発生時の対応と出力の監視

ポリシー設計、ガードレールのオーケストレーション、例外処理の監督

エージェント型 AI のガバナンスにおけるリスクと一般的な課題

エージェント型 AI のガバナンスにおける主なリスクは、稼働中のシステムに対して常時権限を持つエージェントを管理することに起因します。こうした権限は、過剰な権限付与や連鎖的な障害を引き起こす可能性があります。 Cloud Security Alliance が 2026 年 4 月に実施した調査によると、53% の組織で AI エージェントが意図した権限の範囲を超えてしまったことがあり、47% の組織が過去 1 年間に AI エージェントに関連するセキュリティ インシデントを経験しています。

権限の肥大化とガードレール回避の管理

  • 権限の肥大化 (過剰な権限付与)。 エージェントには、「安全のため」という理由で広範な常時アクセス権限が付与され、その後も縮小されないことが少なくありません。 エージェントの権限範囲が広ければ広いほど、誤動作や侵害が発生した際の被害範囲も大きくなります。 最小権限の範囲に限定することが、このリスクに対する最も効果的な管理策です。
  • プロンプト インジェクションとガードレール回避。 エージェントは、メール、文書、Web コンテンツといった信頼性の低い入力に対して処理を行うため、そのデータに悪意のある指示が埋め込まれていると、エージェントのアクションが乗っ取られる可能性があります。 推論レイヤー内で適用されるガードレールは、推論によって回避される可能性があるため、ポリシーの適用はモデルとは独立して行う必要があります。 LLM に関する OWASP トップ 10 では、こうしたインジェクションや過剰なエージェンシーに関するリスクが整理されています。

トレーサビリティの欠如と連鎖的な障害の防止

  • マルチエージェント チェーンにおけるトレーサビリティの欠如: あるエージェントが別のエージェントを呼び出すと、意思決定の経路が複数のシステムやログに分散します。 統一されたアクションレベルの履歴がなければ、チームはなぜそのアクションが行われたのかを再現することができず、その結果、インシデント対応と監査への対応能力の両方が損なわれてしまいます。
  • エージェント チェーン全体にわたる連鎖的な障害: あるエージェントが作業を別のエージェントに引き継ぐ際、エージェントのエラーや不正な出力が、次のエージェントにとって信頼された入力となる場合があるため、誰も気付かないうちに 1 つの障害がチェーン全体に広がる可能性があります。 各エージェントの範囲を明確に定め、引き継ぎを検証することで、1 つの障害が多数の障害へと波及することを防ぎます。
  • 説明責任のジレンマ: 自律型エージェントが有害なアクションや規定に違反するアクションを行った場合、その責任の所在が、開発者、運用者、承認者のいずれにあるのかが曖昧になりがちです。 ガバナンス フレームワークでは、インシデントが発生してからではなく、責任を負う担当者をデプロイメントの前に明確に指定する必要があります。

こうした障害のパターンは、すでに日常的に発生しています。 組織の 53% が、AI エージェントによる本来の権限範囲からの逸脱を経験しており、47% が、過去 1 年間に AI エージェントに関連するセキュリティ インシデントを経験しています (Cloud Security Alliance、2026 年 4 月)。

まとめ: 監視からガバナンスされた自律性へ

監視からガバナンスされた自律性への移行とは、エージェントの権限をリアルタイムで制御し、オーケストレーション プラットフォーム内で実行範囲の設定と実行時の制御を直接適用することを意味します。 エージェント型 AI ガバナンスは、出力だけでなく権限も管理するものです。ポリシーの適用は、エージェントがオーケストレーションされる場所で行うことで、最も効果を発揮します。

自律型 AI システムを安全に拡張できる組織とは、業務を実行するプラットフォーム内で、アイデンティティ、実行時の範囲設定、監督、トレーサビリティを適切にガバナンスできる組織です。 デモをリクエストして、エージェント型 AI ガバナンスの実際の動作をご覧ください。

エージェント型 AI ガバナンスに関するよくある質問

エージェント型 AI ガバナンスとは

エージェント型 AI ガバナンスとは、自律型 AI エージェントに委任された権限を継続的かつリアルタイムに制御し、安全な実行を確保することです。 エージェントが許可されたアクションのみを実行するようにし、権限の範囲を超えたり、人間の監督なしに高リスクなタスクを実行したりすることを防ぎます。

企業はエージェント型 AI をどのようにガバナンスしていますか?

企業は、最小権限のマシン アイデンティティを割り当て、実行時のガードレールを適用し、人間による承認を必須とするとともに、すべてのツール呼び出しを記録することで、エージェント型 AI をガバナンスしています。 この包括的なアプローチにより、エージェントはあらかじめ定められた範囲内でのみ動作するようになります。

エージェント型 AI システムをガバナンスするためのベスト プラクティスにはどのようなものがあるでしょうか?

自律型 AI システムのガバナンスにおけるベスト プラクティスには、アクセス権限を限定すること、プロンプト インジェクションに対するレッドチーム活動、適用範囲の継続的な監視、および人間の責任者を明確に定めることなどが含まれます。 こうした取り組みにより、中核となる制御機能に運用上の規律が重ねて適用されます。

エージェント型 AI ガバナンスにおいて、可観測性が重要なのはなぜですか?

エージェント型 AI ガバナンスにおいて可観測性が重要なのは、権限の証明、障害のデバッグ、およびコンプライアンス監査への対応には、アクションレベルでの完全な履歴が必要となるからです。 すべてのツール呼び出しや意思決定の経路を継続的に追跡することで、責任の所在を明確にし、インシデントへの迅速な対応が可能になります。

エージェント型 AI ガバナンスは、従来の AI ガバナンスとどのように異なりますか?

エージェント型 AI ガバナンスは、従来の AI ガバナンスとは異なり、静的なモデル出力の定期的なレビューを行うのではなく、実行時の権限範囲の適用をリアルタイムで行います。 これにより、自律型エージェントが、許可されたアクションのみを、機械的な速さで実行できるようになります。

タグ

AI

最新情報を確認する:

Subscribe ブログを購読する
user image

エミリー・ガル

エミリー・ガルはオートメーション・エニウェアの APA プラットフォーム担当製品マーケティング ディレクターとして、B2B SaaS と AI の成長を 17 年以上牽引。

関連記事

執筆者の最新記事

無料体験版 Automation Anywhere
Close

ビジネス向け

パーソナライズされた製品デモをご希望の場合は、クイック アクセスからお申し込みください

学生・開発者向け

すべての機能が無料で使えるクラウド版 Community Edition で、今すぐ自動化を始めましょう。