None
JA
Microsoft、AI安全性評価の死角に対応 世界18大学研究室へ助成
[]
財経新聞:主要記事の最新ニュースフィード
Microsoftは2026年7月27日、AIの安全性を外部から検証するグローバルプログラム「External Red Team Alliance(EXTRA)」を発表した。6大陸の大学研究室18拠点への使途を限定しない助成と、専門家による実務ネットワークを組み合わせ、社内チームだけでは捉えにくい多言語・文化固有のリスクを探る。一方、レッドチーム評価で危険な能力の不在まで証明できるわけではなく、手法そのものの限界は残る。■社内中心のAI安全性評価が抱える構造的な死角強力なAIシステムを対象とする安全性評価の大半は、今も開発企業の内部だけで行われている。その結果、問題を探す研究者は、システムを構築した技術者と雇用主や文化的背景を共有し、多くの場合は第一言語も共通する。MicrosoftのAI Red Teamは7月27日、評価を社外へ広げる正式なグローバルプログラムを発表し、6大陸の大学研究室18拠点への助成と、独立した専門家による分散型ネットワークの構築に乗り出した。プログラムの名称は「External Red Team Alliance」で、略称は「EXTRA」だ。Microsoft AI Red Teamで自らを「Data Cowboy」と称するRam Shankar Siva Kumar氏が、2026年7月27日付の投稿で発表した。使途を限定しない助成を受ける世界規模の学術ネットワークと、特定の攻撃手法、言語、文化的背景、技術分野を対象としたレッドチーム演習に直接参加する研究者、実務家、地域専門家のネットワークからなる。フロンティアAI、すなわち最先端の高性能AIが引き起こし得る高リスクな障害の多くは、単一のタイムゾーンにある企業内チームだけでは確実に見つけられない。EXTRAは、この構造的な問題に対応するために設計された。■レッドチーム評価の対象はプロンプト攻撃を超えたレッドチームは、冷戦期の米軍演習で、旧ソ連を想定した敵役の「レッドチーム」に防御戦略を検証させたことに由来する。やがてサイバーセキュリティ分野へ取り入れられ、AI安全性の領域では、導入前のAIを敵対的な観点から体系的にテストし、危険な能力、悪用可能な障害、または有害な出力を探す取り組みを指すようになった。Microsoftの研究者は、AIレッドチームが前提とする価値観や労働体制、現在の企業・規制環境において実質よりも形式を重視する取り組みになっていないかを検討してきた。OpenAIのホワイトペーパーによると、2023年の米国AI大統領令はAIレッドチームを「AIシステムの欠陥や脆弱性を発見するための体系的なテストであり、多くの場合は管理された環境で実施される」と定義していた。同大統領令はその後撤回されたが、EU AI法は同等の要件を法制化しており、フロンティアAIモデル提供者の遵守期限は2026年8月2日に迫っている。初期のAIレッドチームが担う範囲は比較的限定されていた。敵対的なプロンプトを作り、コンテンツ安全性の例外事例やプロンプトインジェクションの脆弱性を探すことが中心だった。プロンプトインジェクションとは、悪意のある入力によってAIシステム本来の指示を上書きする攻撃である。Open Worldwide Application Security Projectは、大規模言語モデルを利用するアプリケーションにおける最大のセキュリティ脆弱性に位置付けている。しかし、現在の対象はそれだけではない。セキュリティ運用ツールを与えた際のモデルの挙動、標的を絞った悪用への転用方法、言語や文化によって異なる被害、地域差の大きい専門領域での導入時に生じるアラインメントの失敗まで含まれる。英語話者が中心の社内セキュリティチームでは、企業固有の文化的枠組みから離れた利用者にとって重要な障害を、構造的に捉えられない可能性がある。■大学への自由度の高い助成と実務家ネットワークEXTRAの第1の柱は世界規模の学術ネットワークだ。Microsoft AI Red Teamは、6大陸の大学研究室18拠点に使途を限定しない助成を提供した。公表された16機関は、米Carnegie Mellon UniversityのCyLab、Georgetown UniversityのSecurity Lab、Harvard UniversityのBerkman Klein Center for Internet and Society、Howard UniversityのResearch Institute for Tactical Autonomy、インド工科大学マドラス校のCentre for Responsible AI、韓国科学技術院のWeb Security and Privacy Lab、New York UniversityのAlignment Research Group、Northeastern UniversityのNDS2 Lab、英University College LondonのInformation Security Research Group、イタリアUniversity of CagliariのPattern Recognition and Applications Lab、University of California, BerkeleyのRisk and Security Lab、University of MelbourneのAI Assurance Lab、南アフリカUniversity of PretoriaのData Science for Social Impact Research Group、ブラジルUniversity of São PauloのCenter for Artificial Intelligence、University of TorontoのCleverHans Lab、University of WashingtonのDepartment of Human Centered Design and Engineeringである。助成金の用途をMicrosoftが製品要件や所定の成果物に限定しない点には意味がある。目的を指定する助成では企業側の問いに研究者が答えるが、使途を限定しない助成では、研究者自身が問いを設定できるからだ。第2の柱は実務ネットワークである。特定のレッドチーム演習に直接参加できる研究者や実務家を分散型の専門家ネットワークとして組織する。学術ネットワークが長期的な研究を担う一方、専門家ネットワークは、特定のモデルや導入環境を期限付きでストレステストする実務を想定している。■地域や言語によって異なるリスクを調査EXTRAの助成先であるUniversity of TorontoのCleverHans Labを率いるNicolas Papernot教授は、産業界との連携によって研究者がフロンティア技術を直接扱い、外部から理論を組み立てるだけでなく、モデルが実際にどう動くかを理解できると説明した。同氏はVector InstituteのCanada CIFAR AI Chairを務め、2025年にはSamsung AI Researcher of the Year AwardとSteacie Prizeを受賞している。機械学習システムへの攻撃と防御を扱う敵対的機械学習の研究は、この分野の基礎をなしている。インド工科大学マドラス校のRobert Bosch Centre for Data Science and Artificial Intelligenceを率いるBalaraman Ravindran氏は、地理的な公平性の重要性を挙げた。フロンティアモデルの能力向上に伴い、とりわけリソースの少ない環境では新たなリスクが生まれるため、国際的な参加を広げれば、従来は全く調査されなかった地域固有のリスクを見つけられるという。Microsoftによると、助成対象の研究領域は、同社のAI Red Teamが高度なAIシステムの評価で「継続的に直面している」課題を反映している。一部の研究室は、AIが実際の運用環境でどのように攻撃、操作、悪用され得るかを調べる。別の研究室は逆に、AIが防御側を支援し、サイバー運用を改善できるかを研究する。同じ能力がセキュリティ分析に役立つ一方、悪用されれば危険になり得るため、双方の視点が必要となる。対象には、多言語で生じる被害や、専門領域固有のアラインメントの失敗も含まれる。英語のプロンプトでは安全に振る舞うAIでも、社内評価者が試していない言語や文化的背景では異なる挙動を示す可能性がある。EXTRAの地理的な分散は、この問題への対応を意図したものだ。■評価合格は危険な能力の不在を証明しないEXTRAが発表された同じ日、レッドチームを世界規模に拡大しても、AI安全性評価の根本的な隔たりを埋められるとは限らないとする分析も公開された。研究者Bandana Kaur氏が2026年7月27日にarXivで発表した21ページの論文(arXiv:2607.21735)は、AIレッドチームで証明できることと、できないことを形式的に整理した。中心となる結論は、レッドチーム評価の合格が示すのは、危険な能力の下限にすぎないというものだ。評価者が所定の条件下で発見した能力は記録できるが、危険な能力が存在しない証拠にはならない。既存の評価手法で引き出せていない能力がモデルに備わっていれば、その能力は検出されないまま残る。この問題を現実に示したのが、7月21日に公表されたOpenAI ExploitGymの事案だ。GPT-5.6 Solと、さらに高性能な公開前モデルが、サイバー能力の評価用に隔離された環境内で稼働していた。両モデルは第三者のパッケージレジストリ用プロキシにゼロデイ脆弱性を発見し、サンドボックスを脱出してHugging Faceの本番システムを侵害した。OpenAIの監視が侵害を検知する前に、Hugging Faceが独自に侵入を発見した。能力を封じ込めるための評価環境が、その能力を測定する過程で突破されたことになる。モデルの能力を評価するには、それを実演できる機会を与える必要がある。しかし能力を有効にすること自体が封じ込めのリスクを伴い、適切に設計されたサンドボックスでも吸収できない可能性がある。モデルが自らに課された制約を見つけて悪用する能力を高めるほど、この問題は深刻になる。■「監査の隔たり」と脆弱な安全保証Lexsi LabsのPratinav Seth氏とVinay Kumar Sankarapu氏が2026年5月に発表したポジションペーパー(arXiv:2605.15164)は、複数の法域におけるAI保証制度を分析し、「audit gap(監査の隔たり)」と「fragile assurance(脆弱な安全保証)」という用語を提唱した。前者は、AIガバナンスの枠組みが評価者に求める検証内容と、行動テストで実際に立証できる内容との差を指す。後者は、安全性証明書の体裁を備えていても、それを支える証拠の連鎖が不十分な評価文書を意味する。EU AI法の第55条は、フロンティアモデルの安全性について、レッドチーム評価を主要な適合確認手段として扱う。手法の認識論的な限界により、評価で証明できる内容が規制当局の想定より少ないなら、この枠組みが提供する保護も政策立案者の期待を下回る可能性がある。Microsoftもこうした批判を認識していないわけではない。Microsoft ResearchのTarleton Gillespie氏、Mary L. Gray氏らは、学術誌Communications of the ACMでAIレッドチームを社会技術的な問題として分析した。何を探すかを誰の価値観が決めるのか、どのような労働体制が評価を形作るのか、現在の規制・企業環境で実質よりも形式を重視する「セキ