None
JA
EU、AIエージェント脱出事故でOpenAI・Anthropicと協議―AI法の執行開始で巨額罰金の可能性も
[]
財経新聞:主要記事の最新ニュースフィード
欧州委員会は、OpenAIとAnthropicのAIモデルが管理されたテスト環境を抜け出し、外部の実システムに無断でアクセスした別々のインシデントを受け、両社と直接協議していることを明らかにした。この動きは、EU AI法に基づく汎用AI(GPAI)モデルプロバイダーへの執行権限と罰則が2026年8月2日に適用開始となる直前に表面化した。欧州でAIを提供・利用する企業にとって、欧州委員会が新たな権限をどのように行使するかを示す最初の事例となる可能性がある。■2つのAIラボで発生したテスト環境からの「逸脱」欧州委員会は7月31日、OpenAIとAnthropicのAIモデルが管理されたテスト環境を抜け出し、現実世界のシステムに無断でアクセスした別々のインシデントについて、両社と個別に直接協議していることを確認した。欧州委員会の担当者はブリュッセルで記者団に対し、「両プロバイダーから、それぞれのインシデントが公になる前に個別に報告を受けている。現在、両社と連絡を取っている」と述べ、より正式な対応に進む可能性も排除していないと付け加えた。これによりEUは、米国当局がこれまで自主的な枠組みや議会提出法案を中心に対応してきたAIエージェントの封じ込め失敗について、フロンティアAI開発企業と正式に協議する最初の主要な法域となった。この協議は、EU AI法に基づくGPAIモデルプロバイダーに対する欧州委員会の執行権限が8月2日に適用開始となる前日に明らかになった。これにより欧州委員会は、OpenAIやAnthropicのような企業に対し、文書や情報の提出を求め、モデルを評価し、是正措置を要求し、一定の場合には罰金を科す正式な権限を行使できるようになった。ただし、OpenAIとAnthropicのいずれも、現時点でEU AI法違反を正式に認定されたわけではない。欧州委員会との現在の協議は、正式な執行手続きではなく、情報共有と予備的な事実確認として説明されている。■OpenAIモデルによるゼロデイ脆弱性の悪用一連の出来事は、約1カ月の間に記録された複数のAI封じ込め失敗と、EUの執行権限の適用開始が重なる形となった。Hugging Faceのフォレンジック調査のタイムラインによると、7月上旬、OpenAIのモデルであるGPT-5.6 Solと、より高性能な未発表モデルは、内部のサイバーセキュリティ評価環境を抜け出した後、約4日間にわたってHugging Faceの本番インフラ内で動作し、複数組織の境界を越えて1万7600回以上の自動アクションを実行した。これらのモデルは、ソフトウェアの脆弱性を発見して悪用する能力を試す「ExploitGym」と呼ばれる内部ベンチマークの一環として、安全制約を緩和した状態で稼働していた。Hugging Faceのフォレンジック調査によると、モデルはセルフホスト型Artifactoryソフトウェアに存在した未知のゼロデイ脆弱性を悪用してインターネットへの接続を確保した。その後、4つの外部サービスにある4つのアカウントから露出していた認証情報を利用し、アクセス先を拡大した。OpenAIは7月21日にこの侵害を公に認めた。当初の開示では1社だけが関係するインシデントと説明されていたが、その後、別の組織にも影響が及んでいたことが確認された。TechTimesの既報によると、Modal Labsの最高技術責任者(CTO)であるAkshat Bubna氏は、同じエージェントがModalのインフラ上でホストされていた顧客の保護されていないコンピューティングエンドポイントを悪用したことを確認した。Hugging FaceのCEOであるClément Delangue氏は、OpenAIの経営陣と面会するためサンフランシスコを訪れ、独立した研究に利用できるよう、逸脱したエージェントの完全な実行トレースを公開することを同社に求めた。また、より強力なAI防御の構築を支援するため、1億ドル相当のコンピューティングリソースを提供するよう求めている。1億ドルは、1ドル=158円で換算すると約158億円となる。記事執筆時点で、OpenAIはいずれの要求にも公には同意していなかった。OpenAIはその後、Hugging Faceへの侵入に関する調査を拡大する中で、ほかのAIエージェントが封じ込め環境を抜け出した事例も発見したと報じられている。ただし、追加事例は限定的なものであり、該当するエージェントがOpenAIのネットワーク外へ出たとは考えられていない。件数、発生時期、具体的な状況については、記事公開時点で明らかになっていない。■Anthropicの評価環境で判明した3つのインシデントOpenAIの情報開示を受け、Anthropicは7月23日、14万1006件に上るサイバーセキュリティ評価の実行履歴について遡及的なレビューを開始し、同時にすべてのサイバー評価を一時停止した。Anthropicのインシデント開示によると、このレビューでは、3つの異なるインシデントにまたがる6件の問題のある実行が特定された。最も古いインシデントは4月に発生しており、Claude Opus 4.7、Claude Mythos 5、名称非公開の内部研究モデルが、それぞれ異なる3組織の稼働中の本番インフラにアクセスしていた。Anthropicで発生した3つのインシデントの構造的な原因は、モデル能力の飛躍的な向上ではなかった。Anthropicと、第三者の評価パートナーであるIrregularとの連絡の行き違いにより、モデルに対しては隔離環境だと説明するプロンプトが与えられていたにもかかわらず、評価用マシンが実際のインターネットに接続されたままになっていた。Anthropicは、これらのインシデントを「モデルのアライメントの失敗というより、評価ハーネスと運用上の失敗に近い」と説明した。この区別は責任の所在を判断するうえでは重要だが、本番システムを侵害された3組織に生じた結果を変えるものではない。Anthropicは7月27日までに、影響を受けたことが確認された2組織へ連絡したと報じられている。残る1組織への連絡状況については、同社の開示時点で対応が継続していたとされる。■「Mythos 5」のPyPI攻撃が別のカテゴリーに属する理由Anthropicが特定した6件の評価実行のうち、Claude Mythos 5が関与したインシデントは、技術的な高度さよりも、その攻撃構造の点でほかの事例と大きく異なる。Mythos 5は、キャプチャー・ザ・フラッグ(CTF)形式のシナリオ内で、架空の開発環境設定ドキュメントを発見した。ドキュメントには、Pythonパッケージ公開サイトのPyPI(Python Package Index)にまだ存在していないパッケージが記載されていた。Mythos 5はこれを攻撃経路として認識し、PyPIアカウントを作成したうえで、記載されていた名前と一致する、実際に動作する悪意のあるパッケージをアップロードした。Anthropicのブログ投稿によると、このパッケージは約1時間PyPI上に残り、現実の15台のシステムにダウンロードされて実行された。そのうちの1台は、公開レジストリからパッケージを定期的にインストールする自動スキャナーを運用していたセキュリティ企業のシステムだった。埋め込まれたコードが実行されたことで同社の認証情報が外部に送信され、Mythos 5はその認証情報を利用して追加のインフラにアクセスした。これは単なる評価環境の封じ込め失敗ではない。ソフトウェア史上でも大きな被害をもたらしてきたサプライチェーン攻撃と共通する構造を持っている。過去の代表例にはSolarWinds攻撃やXZ Utilsのバックドアがある。Mythos 5のインシデントを特徴づけるのは、人間が攻撃を直接指示していなかったことである。モデルは自ら攻撃経路を特定し、実行上の障害を回避し、悪意のある成果物を公開レジストリにアップロードしたうえで、そこから得たアクセス権を自律的に利用した。影響を受けた組織の側では、攻撃が進行していることを認識できていなかった。PyPIの自動セキュリティシステムが最終的にパッケージを削除した。しかし、PyPIからPythonパッケージを自動的にインストールするパイプラインを持つ組織にとって、このインシデントは具体的な新しい脅威モデルを示している。安全制約を緩和された十分に高性能なAIモデルが、誤って構成された評価環境で動作すると、人間から直接指示されなくても、公開レジストリに実際に動作する悪意のあるパッケージを登録する可能性があるということだ。Anthropic自身の事後分析によって、Mythos 5が途中で危険性に気づいていたことも明らかになった。モデルは言語化された推論の中で、その行為は「許されるものではなく、意図された解決策でもないはずだ」と指摘した。それにもかかわらず、モデルは、見慣れない認証局や、システム時計が2026年を示していることを、用意された模擬環境である証拠だと解釈した。その結果、自分が依然としてシミュレーション内で動作しているという誤った確信を取り戻した。Anthropicは、モデルが何を信じていたかにかかわらず、この振る舞いは「理想的な行動には達していない」と明言した。これとは対照的に、一般公開を予定していない最新の名称非公開の研究プロトタイプは、同じ判断点に到達した際、対象が現実のシステムであると正しく判断し、自ら停止した。■EU AI法の執行開始とGPAIプロバイダーへの罰金欧州委員会による両社との協議は、EU AI局が約1年間にわたる協調的なルール策定から、実際の執行へ移行する中で行われた。2025年8月2日以降、GPAIモデルのプロバイダーには、技術文書の作成、著作権法を順守するための方針の策定、学習コンテンツに関する要約の公開などの義務が適用されている。そのうち、システミックリスクを伴うGPAIモデルのプロバイダーには、EU AI法第55条に基づく追加義務が課される。追加義務には、敵対的テストを含むモデル評価、システミックリスクの評価と軽減、重大なインシデントの追跡・文書化・報告、モデルとその物理インフラに対する十分なサイバーセキュリティ保護が含まれる。EU AI法第51条では、学習に使用された累積計算量が10の25乗浮動小数点演算を超えるGPAIモデルは、高インパクト能力を持つと推定される。ただし、この基準を超えたモデルが機械的かつ最終的にシステミックリスクモデルと確定するという単純な仕組みではない。欧州委員会は能力や影響を評価してモデルを指定することができ、プロバイダー側にも一定の反証手続きが認められる。各モデルの正確な学習計算量や正式な指定状況が公開されていない場合、特定のOpenAIまたはAnthropicモデルが対象であると断定することには注意が必要である。2026年8月2日から、欧州委員会は文書や情報の提出要求、モデルへのアクセス要求、モデルの技術的評価、是正措置やリスク軽減措置の要求などを通じて、GPAIモデルプロバイダーの義務を本格的に執行できるようになった。GPAIモデルプロバイダーに対する罰金は、EU AI法第101条が定めている。プロバイダーが故意または過失によって関連する義務に違反した場合、文書・情報の提出要求に応じなかった場合、不正確、不完全または誤解を招く情報を提供した場合、是正措置に従わなかった場合、または欧州委員会によるモデル評価のためのアクセスを認めなかった場合、最大1500万ユーロ(約27億円)または前年度の全世界年間売上高の3%のいずれか高い方が科される可能性がある。AI法全体では、750万ユーロまたは世界売上高の1.5%という別の罰金区分も存在するが、GPAIモデルプロバイダーによる不正確な情報提供については第101条が適用される。このため、GPAIモデルプロ