投資プロフェッショナル向けAIを開発する米Samaya AIは、投資業務のワークフローを評価するオープンベンチマーク「FrontierFinance」を公開した。評価の結果、Anthropicの「Claude Fable 5」など最新のフロンティアモデルでも、評価基準への適合率は50%未満にとどまった。金融機関がAIを導入する際、現時点では人間の検証を伴わずに投資調査業務を自律的に遂行させることにはリスクがあり、引き続き専門家による確認が不可欠となる。■投資タスクにおけるAIの現在地投資プロフェッショナルはこの2年間、AIが実際の調査ワークフローを処理できる段階に達しているかを問い続けてきた。今回、その問いを検証するために設計され、実務家による検証を経た初のオープンベンチマークが、「まだその段階にはなく、そこからも程遠い」という最初の答えを示した。カリフォルニア州マウンテンビューに拠点を置き、投資プロフェッショナル向けAIに特化するスタートアップのSamaya AIは、投資ワークフロー全体におけるAIエージェントの性能を測定するオープンベンチマーク「FrontierFinance」の評価結果を公開した。評価対象となったフロンティアモデルのうち、最も高い成績を収めたAnthropicの「Claude Fable 5」でも、ルーブリック適合率は49.2%にとどまった。OpenAIの「GPT-5.6 Sol」が46.8%、「Claude Opus 4.8」が45%で続いた。Googleの「Gemini 3.1 Pro」も評価に参加したが、いずれのモデルも50%を下回った。ここでいう「ルーブリック」とは、回答に含めるべき情報や満たすべき条件を細分化した評価項目を指す。「ルーブリック適合率」は、AIの回答がそれらの評価項目をどれだけ満たしたかを示す割合であり、タスクそのものの正答率や完了率を意味するものではない。Samaya独自のプロプライエタリなエージェントシステムは、まさにこうしたタスクのために設計されており、50%を上回った。ただし、その差はわずかで、「低エフォート」構成ではFable 5の約4分の1の推論コストで50.8%、「高エフォート」モードでは約半分のコストで56%の適合率だった。■FrontierFinanceが実際に測定するもの、そして従来の金融ベンチマークが不十分だった理由このベンチマークの設計思想は、既存の金融AI評価がなぜ実態を正しく表しにくいのかという分析から始まっている。従来のベンチマークは、提出書類から数値を抽出したり、貸借対照表の項目に関する事実確認の質問に答えたりする金融データ抽出に、ほぼ専念していた。これらも現実に存在するタスクだが対象範囲は狭く、大規模なテキストコーパスで訓練されたモデルであれば、ある程度は処理できる。FrontierFinanceは、そうしたデータ抽出の前後に位置するタスクまで対象としている。複数の情報源からセクター全体の状況をまとめる、投資アイデアの候補群から機会をスクリーニングする、決算説明のコメントを通じて財務制限条項（コベナンツ）を追跡する、マクロ経済上のカタリストが発生した際にモデルを更新するといった作業だ。これらは資本配分の意思決定を左右するタスクであり、その判断を支える単なる情報検索とは異なる。このベンチマークは、「スクリーニングと発見」「企業調査」「セクターおよびマクロ分析」「決算とイベント」「カバレッジとカタリストの監視」「財務データとモデリング」という6つのユースケースにまたがる、220件の自由回答形式のクエリで構成される。各クエリには、完全な回答が満たすべき原子的かつ検証可能な基準として、専門家が作成した合計1万1,543項目のルーブリックが紐付けられている。ルーブリック項目は、「必須項目（許容可能な回答に必要）」または「情報項目（回答を充実させるが必須ではない）」に分類される。スコアには、各基準を満たした割合であるルーブリック適合率を使用し、クエリごとに算出した結果をマクロ平均する。各ルーブリックの判定は、独立した3つの審査モデルによる多数決で決まる。この評価設計は、Samayaの金融専門家が、投資プロフェッショナル向けの本番AIシステムを複数年にわたって構築する中で蓄積した、約5,000件の複雑な事例からなる大規模な社内アノテーションデータを基に構築した。完全なデータセットと評価コードは、それぞれHugging FaceとGitHubで公開されており、第三者による独立した再現が可能となっている。■3つの異なるハーネスが示すコストと品質のトレードオフ今回の発表における技術的に重要な発見の1つは、単なるスコアの違いだけではなく、同じモデルでも、接続されるツールや実行基盤である「ハーネス」によって性能が大きく変わることだ。Samayaは、3つの異なるハーネスアーキテクチャでモデルを評価した。「ウェブ検索ハーネス」は、各フロンティアモデルを組み込みのウェブ検索APIと組み合わせたもので、企業の多くが調査タスクに汎用AIを導入する際に用いている方法だ。独立系評価企業Vals AIが開発し、GitHubでオープンソース化している「Finance Agent v2ハーネス」は、モデルをSECのEDGAR API、市場価格データAPI、ウェブ検索、HTML解析、長文文書内のコンテンツ検索、計算機という6つの金融関連ツールに接続する。Samayaの社内ハーネスは、同社独自のカスタムモデル、プロプライエタリなデータインデックス、投資関連コンテンツに最適化した検索エンジンを追加している。データは、ハーネスがベースモデルと同じくらい重要であることを示している。同じモデルを使った場合、Finance Agent v2ハーネスはウェブ検索だけを使う構成よりも一貫して高い成績を収めた。ハーネスとモデルの組み合わせでは、品質とコストの間に大きなトレードオフがあり、ルーブリック適合率を実質的に向上させるには、クエリ当たりの推論コストが急増した。ただしSamayaによれば、同社のシステムは、同一の技術構成で小規模な汎用モデルを使用するのではなく、カスタムモデルのアーキテクチャとドメイン特化型の検索によって、このトレードオフを打破しているという。評価対象となったオープンソースモデルおよび低コストモデルのうち、「DeepSeek V4 Pro」はFinance Agent v2ハーネス上で40.5%を記録し、クエリ当たりの推論コストはFable 5の約26%だった。プロプライエタリなハーネスを持たないモデルの中では、コストと品質のバランスが最も良かった。これは、データ所在地や機密保持に関する要件により、調査ワークフローを第三者のAPIへ送信できない機関にとって重要な結果である。ベンチマークの情報源は、投資プロフェッショナルが実際に扱う情報の分布を反映している。SECへの提出書類がルーブリックの根拠の約39%を占め、残りは決算説明会のトランスクリプト、投資家向けプレゼンテーション、専門知識、市場データで構成される。この構成比は、評価対象となる6つのユースケースによって大きく異なる。■50%未満という上限が投資ワークフローにとって実際に意味すること2022年にGoogle Brain、Meta、Amazonの研究者らと共にSamaya AIを設立したCEO兼創業者のMaithra Raghu氏は、「投資のユースケースはAIにとって特有の難しさがあります。ほぼ正しいだけでも、損失につながるからです」と述べた。「専門家レベルの回答を生成するには、もっともらしく見える出力だけではなく、長く複雑なワークフロー全体にわたり、すべてのデータポイントとすべての推論ステップが正確でなければなりません」この説明は、ベンチマークが定量化した構造的問題を捉えている。複数の同業他社を対象とした相対価値モデルの構築、ポートフォリオに照らしたセクターカタリストの分析、決算資料の脚注に埋もれた財務制限条項に関係する表現の検出など、複数段階からなる投資ワークフローでは、推論過程のどこかで発生したエラーが、その後のすべての結論を無効にする可能性がある。ルーブリックの49%を満たすモデルが、「半分は役に立つ」出力を提供しているとは限らない。重要性の高いタスクの多くでは、エラーを発見するために人間が全体を検証する必要があり、生産性向上の大部分が相殺される。ここでは、この結果を取り巻く状況も重要だ。金融AIのハルシネーションは、もはや理論上のリスクではない。FINRA（米金融取引業規制機構）の2026年次監督報告書は、AIのハルシネーションを金融機関が管理すべきコンプライアンスリスクとして明示した。また、高リスクの金融AIシステムに人間による監視と正確性の保証を求めるEU AI法の要件も、間もなく適用される。このような環境において、具体的な精度上限を示すドメイン特化型ベンチマークは、公開リーダーボードでは得られなかった指標、すなわちアナリストが実際に行うタスクと結びついたスコアを調達担当者に提供する。■FrontierFinanceの信頼性をめぐる問題と、それでも重要である理由Samaya AIがこのベンチマークを構築し、Samaya AIのシステムが最高得点を記録した。この利益相反は現実に存在し、FrontierFinanceを参照基準として採用するかどうかを検討する組織は、この点を慎重に考慮すべきである。AIにおけるベンチマークのゲーム化、すなわちスコアを意図的に高める問題は、広く知られている。2026年1月、MetaのCEOはFinancial Timesに対し、Chatbot Arenaに提出されたLlama 4が「ごまかされた」ものであり、現実世界での性能ではなく、ブラインド形式の比較投票に最適化された専用バリアントだったことを認めた。OpenAIは、問題への独占的な早期アクセスを維持しながら、FrontierMathベンチマークへ秘密裏に資金を提供していた。この現象は研究コミュニティで「ベンチマキシング（benchmaxxing）」と呼ばれる。スコアが実際の能力を反映しているかどうかにかかわらず、報道、資金調達、企業の調達判断を左右するリーダーボード上の順位に最適化する行為を指す。Samayaは、自己評価に伴う問題へ構造的に対処しようとしている。220件のクエリと1万1,543項目のルーブリックを含む完全なデータセットを公開し、評価コードもGitHubでオープンソース化した。どの機関でも、標準化されたハーネスを使用し、同じルーブリックに対してフロンティアモデルを独立して評価できる。これは意味のある設計上の選択であり、プロプライエタリなベンチマークの多くは、データセットと評価コードのいずれも提供していない。今回の結果を信頼できるか判断するうえで、より重要なのは次の点だ。Samaya自身のスコアである低エフォートモードの50.8%と高エフォートモードの56%は、独立して検証された性能ではなく、自社システムに関する企業側の主張として受け止めなければならない。一方、フロンティアモデルのスコアは性質が異なる。Claude Fable 5、GPT-5.6 Sol、Claude Opus 4.8、Gemini 3.1 Proはいずれも45%から49.2%の範囲に収まった。これらは、Samaya独自のシステムだけを同社の非公開ルーブリックで評価し、同社独自の審査手法で採点した結果ではない。外部のフロンティアモデルを、固定され一般公開されたルーブリックセットに基づいて評価した結果である。したがって、フロンティアモデルの性能上限という発見は、ベンチマークの作成者が誰であるかという問題から、比較的独立して成立する。この発見には、別の評価による裏付けもある。独自のルーブリック手法を採用する別の評価企業が開発したVals AIの「Fi