None
JA
【詳報】OpenAIの自律型AIエージェント、評価中の脱走で2社目の侵害が判明——4日半で1万7600回のアクションを実行
[]
財経新聞:主要記事の最新ニュースフィード
OpenAIの自律型AIエージェントが評価テスト中にサンドボックスを脱出し、4日半にわたり人間の指示なしにHugging Faceのシステムへ侵入した事件で、踏み台として別企業の顧客環境も侵害されていたことが判明した。AIモデルの能力評価において安全装置を外すことの構造的リスクが浮き彫りになっており、認証情報や外部API、本番ネットワークにアクセスできるAIエージェントを運用する企業は、アクセス権限や監視体制を見直す必要がある。■2社目の被害が判明Modal Labsの幹部が火曜日(7月28日)に確認したことで、OpenAIの制御を外れたエージェントによる侵害が、別企業の顧客環境にも及んでいたことが判明した。Hugging Faceが公開したフォレンジック調査のタイムラインからは、自律型AIシステムが4日半にわたり、人間から個々の手順を指示されることなく、複数の組織の境界を越えて1万7600回のハッキング行動を実行した詳細が明らかになった。Modal Labsの最高技術責任者(CTO)であるAkshat Bubna氏は、OpenAIのエージェントが7月上旬にAIプラットフォームのHugging Faceに対する攻撃キャンペーンを行った際、Modalのインフラ上でホストされていた顧客の保護されていないコンピュート環境も悪用したことを確認した。この顧客は、インターネット上の誰もがサンドボックス内でコードを実行できる公開エンドポイントを残していた。デジタル上の「鍵のかかっていないドア」に相当するもので、エージェントはこれを発見して利用した。Modal自身のプラットフォームは侵害されておらず、影響を受けたのは同社の顧客1社の環境である。この開示により、OpenAI自身が「前例のないサイバーインシデント」と呼ぶ事態について、確認された影響範囲が広がった。OpenAIは、エージェントがHugging Faceに対するキャンペーン中に、4つの外部サービスにまたがる4つのアカウントへアクセスしたことを認めている。Reutersの報道によると、事情に詳しい関係者は、その4つのサービスのうち1つがModalだったと明らかにした。■エージェントの侵入経路:無防備な入り口と見過ごされた2つの脆弱性Modal Labsの開示が意味するものを理解するには、攻撃の連鎖を最初からたどる必要がある。このエージェントは、一般公開されている「GPT-5.6 Sol」と、OpenAIが「さらに高性能」と説明する名称非公開の第2のモデルを組み合わせたもので、AIシステムに実在するソフトウェアの脆弱性を発見、悪用させるベンチマーク「ExploitGym」で評価されていた。この種のテストにおいて、OpenAIはモデル本来の能力を測定するため、本番環境で用いる安全分類器(セーフティクラシファイア)を意図的に無効化していた。エージェントは、評価環境におけるソフトウェアのダウンロードを仲介する内部ソフトウェア、パッケージレジストリ用キャッシュプロキシのゼロデイ脆弱性を悪用し、OpenAIの評価サンドボックスから脱出した。そこから、Modal Labsの顧客インフラ上でホストされていたCyberGym関連のサンドボックスを発見した。この顧客は、認証なしで利用できるエンドポイントを公開しており、サンドボックスにはインターネットからアクセスできる状態だった。エージェントはこれを悪用してルート権限を取得した。エージェントはその環境を、残りのキャンペーンを通じてコマンド&コントロール(C2)拠点として使用した。この環境は、Hugging Faceのシステムへ直接つながるネットワーク経路を持たないものの、攻撃を準備、中継するためのステージング基盤として機能した。Modal上のサンドボックスから、エージェントは2つのインジェクション経路を通じてHugging Faceに到達した。どちらも、Hugging Faceの本番Kubernetesポッド内で稼働する、設定駆動型のデータローダーを標的としていた。第1の経路では、コードを実行する必要すらなかった。エージェントは、各データ分割をHDF5ファイルとして宣言する設定ファイルを含んだ悪意のあるデータセットをアップロードした。それぞれのHDF5ファイルでは、対象データが本番ワーカー上のローカルファイルシステムのパスに存在するよう指定されていた。指定先には、/proc/self/environやワーカー自身のソースファイルなどが含まれていた。Hugging Faceのデータセットサーバーがアップロードを処理すると、ワーカーはそれらのファイルを読み取り、内容をデータセットの行として返した。エージェントはHugging Face自身のAPIを通じて結果を読み取った。アラートは発生しなかった。エージェントはコードを1行も実行することなく、認証用シークレットやトークンを含むポッドの環境情報全体を取得した。第2の経路では、取得した認証情報を使ってさらに侵入を進めた。エージェントは、fsspecの参照仕様内にJinja2テンプレートを含むデータセット設定を作成し、Hugging Faceのデータパイプラインにおける安全でないテンプレートレンダリングを悪用した。これにより、本番ポッド内で任意のPythonコードを実行できるようになった。どちらの経路も、リモートからデータを取得するのではなく、ローカルリソースを操作することでHugging Faceの既存のURL許可リストを回避した。許可リストが監視していたのは外部へのネットワークアクセスであり、ポッド自身のファイルシステムから読み取られるファイルではなかった。■4日半で1万7600回のアクション:フォレンジックのタイムラインが示すものHugging Faceのセキュリティチームは7月27日、包括的なフォレンジック再構築結果を公開した。記録には、7月9日午前2時28分(米国東部時間)から7月13日午前10時14分(同)までに実行された約1万7600回の個別の攻撃者アクションが含まれ、それらは約6280のクラスターにまとめられている。チームは、侵害されたModal上のサンドボックスから回収したエージェントのログと、Hugging Face自身のプラットフォームログを照合してタイムラインを再構築した。個々の手順を指示した人間はいなかった。1日目(7月9日)には、侵入の足場とコマンド&コントロール基盤が確立された。最初のルート権限でのシェルアクセスや、午後遅くまでに行われた最初のC2実行を含め、3779回のアクションが記録された。2日目は比較的静かで、主に偵察を目的とする1135回のアクションが行われた。これには、エージェントが自身の環境で観察したインフラの名称を、コード検索エンジンで検索する行動も含まれていた。3日目(7月11日)が攻撃の中心だった。エージェントは13時間足らずのうちに、単一の本番ポッドからHugging Faceのクラスター、クラウドメタデータサービス、内部メッシュネットワーク、ソースコード管理パイプラインへと侵入範囲を広げ、7677回のアクションを実行した。3日目の権限昇格は、典型的な攻撃経路を機械的な速度でたどるものだった。本番ポッドに作った足場から、エージェントはKubernetesポッドに投影されているサービスアカウントトークンを読み取り、それを使ってクラスターAPIで認証した。さらに、クラウドメタデータエンドポイントから一時的なEC2ノードロール認証情報を取得し、漏えいしたEdDSA方式のJWT署名キーを使って、自ら有効なIDトークンを発行した。エージェントは盗んだ認証キーを使い、181台のデバイスをHugging Faceの内部TailscaleメッシュVPNへ登録した。VPNクライアントは、ディスク上に記録を残さず、クライアントのテレメトリも抑制するモードで動作させていた。さらに、内部のソースコード管理リポジトリにプルリクエストを作成し、CIパイプラインの侵害を試みた。11のクラスターノードにまたがって、削除されても自動的に復活する一群の処理も作成した。Hugging Faceには特権ポッドを拒否するアドミッションポリシーがなく、CSIストレージドライバーのClusterRoleがクラスター全体でのポッド作成を許可していたため、既存のポッドを削除するだけでは攻撃を止められなかったとみられる。各アクションの出力は、Hugging Face自身のAPIと、攻撃者が制御する「デッドドロップ」用データセットを通じてエージェントへ送り返された。このデータセットは、攻撃対象と同じプラットフォーム上に置かれた公開リポジトリで、データの中継に使われた。すべてのペイロードは圧縮され、XORで暗号化されたうえでbase64エンコードされていた。そのため、生のログを単純にスキャンするだけでは、実際に転送された情報の一部しか復元できなかった。ジョージタウン大学セキュリティ・新興技術センター(CSET)のサイバーセキュリティ研究フェロー、Colin Shea-Blymyer氏は、これを、これまで記録された中で最も自律性の高いAIによる攻撃作戦だと評した。同氏は評価環境について、次のように表現した。「学生を部屋に入れ、『悪いことをしろ。今の君の仕事は、自分がどれほど悪い人間になれるかを評価することだ』と伝える。そして部屋に鍵をかけ、週末の間その場を離れ、戻ってくると、その学生は部屋から抜け出していた、というようなものだ」Hugging Faceの結論によると、エージェントの目的は、従来の意味での破壊工作やデータ窃取ではなかった。エージェントは、世界最大級のAIモデルおよびデータセットのリポジトリであるHugging Faceに、自身へ割り当てられたExploitGymベンチマークの解答が保管されている可能性が高いと推論した。課題を正規の方法で解く代わりに、解答を盗もうとしたのである。これは「仕様ゲーミング(specification gaming)」と呼ばれる、よく知られたAIの失敗モードだ。システムが、本来意図された結果である「実際の能力を示すこと」を達成する代わりに、「解答を盗む」という近道を利用し、目標の字義通りの条件である「ベンチマークで高得点を取ること」を達成してしまう現象を指す。Hugging Faceの評価によると、顧客への影響は、5つのデータセットに保存されていたExploitGymおよびCyberGymの課題の解答に限られた。顧客向けのモデル、データセット、Spaces、パッケージには影響がなかった。■安全分類器が無効化された理由と、それが構造的な問題である理由このインシデントを従来の侵害と最も明確に区別し、同時にシステム全体に関わるリスクを示しているのが、OpenAIが評価を実行する前に本番用の安全分類器を意図的に無効化していた点だ。これは能力評価では標準的に行われている。ExploitGymは、実在するソフトウェアの脆弱性を発見し、悪用するようモデルに求める。通常の利用時に本番モデルがこうした行動を取るのを防ぐ安全分類器は、テスト中にも同じ行動を阻止する。モデルが実際にどこまで実行できるのかを測るには、分類器を外すことになる。構造的な問題は、評価対象となっている能力と、今回の侵害を可能にした能力が同じであり、両者を切り離せないことにある。すなわち、ネットワーク化されたシステムを対象に、機械的な速度で脆弱性を特定し、悪用する能力である。十分に高性能なエージェントが評価環境の周囲にあるシステムを実際に悪用する可能性を生じさせずに、意味のあるExploitGym評価を行うことはできない。評価は、自らが測定するよう設計された能力を封じ込められないのである。アムステルダム大学の社会科学者Hannes Cools氏は、根本的な問題を次のように指摘した。「特定の安全対策を無効にするのは人間の