Huaweiは7月31日、自社のAscend 910B NPUのみで事前学習を完了したとする、5050億パラメータの言語モデル「openPangu-2.0-Pro」を公開した。訓練にはNvidiaのハードウェアが一切使われなかったとされ、5000億パラメータを超えるオープンウェイトモデルとしては初の事例となる。一方、使用されたAscendチップには海外で製造された部品が含まれており、完全に中国国内のハードウェア供給網だけで同規模の訓練を実現できると証明されたわけではない。■「Nvidia不使用」の実際の意味：サプライチェーンの裏側Huaweiは7月31日、5050億パラメータの言語モデル「openPangu-2.0-Pro」の重み、推論コード、技術レポートを公開した。このモデルは、訓練の全工程でNvidiaのハードウェアを使用せず、Huawei独自のAscend 910B NPUで事前学習を完了したとされている。この主張が重要なのは、DeepSeek V4 Pro、GLM-5.2、Qwen 3.7を含む従来の最先端規模のオープンウェイトモデルが、Nvidia A100やH100を搭載したデータセンターをまったく使わずに訓練を完了したとは主張していなかったためだ。5000億パラメータ以上の規模で、Nvidia製ハードウェアを使わなかったと信頼できる形で示した初のモデルがopenPangu-2.0-Proである。現在、このモデルはGitCodeのAscend Tribeコミュニティで公開されており、Huawei Cloud ModelArts Studioを通じてもアクセスできる。開発者は重みをダウンロードし、Ascendハードウェア上で推論を実行できる。また、標準的なフォーマット変換を通じてNvidia GPU上でモデルを動かすためのコミュニティの取り組みも進んでおり、Huaweiのエコシステム外にも利用範囲が広がる可能性がある。今回のリリースが示した成果そのものは現実のものだ。しかし、海外の半導体製造やメモリに依存しない、完全に中国国内のハードウェアスタックだけで、この規模の訓練を継続的に実行できると証明されたわけではない。この違いこそが、見出しの裏にある重要な論点である。openPangu-2.0-Proの訓練に使用されたAscend 910B NPUは、主にSMIC（中芯国際集成電路製造）のN+2プロセスで製造されている。これは7ナノメートル級の製造プロセスであり、TSMC、Samsung、Intelが先端プロセスで使用するEUV（極端紫外線）露光装置ではなく、DUV（深紫外線）露光装置を使用する。ASMLはEUV装置でほぼ独占的な地位にあり、米国、オランダ、日本の輸出規制により、同社は中国へのEUV装置の出荷を禁じられている。そのためSMICは、NvidiaのBlackwell世代のチップが数年前に先行した水準の製造プロセスに制約されている。しかし、より直接的なサプライチェーン上の問題は、openPangu-2.0-Proのような訓練に使われたAscend 910Bチップの内部に何が搭載されていたかである。TechInsightsがAscend 910Bおよび910Cのサンプルを分解調査したところ、調査したほぼすべてのチップに、SMICではなくTSMCの7nmプロセスで製造されたダイが含まれていた。米国当局の判断によると、Huaweiは輸出規制に違反する仕組みを通じて、ケイマン諸島で登記されたチップ設計会社Sophgoを経由し、TSMC製の7nmダイを約290万個調達していた。その後、TSMCはこれらの取引に関する米国商務省の調査を受け、10億ドル（約1580億円、1ドル＝158円換算）以上の制裁金を科される可能性に直面した。この海外製チップの備蓄、いわゆる「ダイバンク」が、SMICによるAscendの生産拡大が進む間、2024年から2025年にかけてAscendの生産量を維持する役割を果たした。2026年初頭の時点で、TSMC製ダイの備蓄は事実上枯渇している。今後のAscendの生産は、SMICが製造するウェハーと、中国国内でパッケージングされる広帯域メモリ（HBM）に全面的に依存することになる。中国の大手DRAMメーカーであるCXMT（長鑫存儲技術）はHBM級メモリの生産を拡大しているが、SamsungやSK Hynixが実現している生産量や歩留まりの安定性には、まだ到達していない。Ascend 910Cの分解調査では、TSMC製のコンピュートダイとともにSamsung製のHBMスタックも確認された。中国は、HBMに対する輸出規制が強化される前に、Samsung製HBMスタックを約1300万個備蓄していた。要するに、openPangu-2.0-Proは、Ascendのソフトウェアおよびアーキテクチャのスタックが最先端規模のモデル訓練を支えられることを示した。しかし、SMIC製のコンピュートダイとCXMT製HBMを組み合わせた完全な中国製ハードウェアスタックで、同じことを実現できるとはまだ証明していない。今回のモデルを訓練したのは、そのような完全な中国製スタックではなかったからだ。Ascendを使った次の最先端規模の訓練が、真の試金石となる。■5050億パラメータ規模のアーキテクチャopenPangu-2.0-Proは、総パラメータ数5050億のMixture of Experts（MoE、専門家混合）アーキテクチャを採用しており、推論時にはトークンごとに約180億パラメータが活性化される。ルーティング機構が入力ごとに特化したエキスパート・サブネットワークの一部を選択し、残りは動作させない。この設計により、クエリのたびに5050億パラメータすべてを使う高密度モデルと同等の計算コストを負担せずに、大規模なモデルを訓練、運用できる。コンテキストウィンドウは51万2000トークンに達し、コードベース全体、長大な法律文書や規制文書、複数セッションにまたがる長い履歴を、細かく分割せずに処理できる。事前学習には約34兆トークンのデータが使用された。アテンション機構は、複数の方式を階層的に組み合わせたハイブリッド構成である。キーバリューキャッシュを圧縮し、512Kトークンでの推論を実用的にするMulti-head Latent Attention（MLA）に、Decoupled Sparse Attention（DSA）とSliding Window Attention（SWA）のレイヤーを1対2の比率で組み合わせている。SWAレイヤーは設定されたウィンドウ内の局所的なコンテキストを処理し、DSAレイヤーはシーケンス全体にわたる疎な大域的依存関係を捉える。DSAとSWAを1対2の比率にすることで、離れたコンテキスト同士を関連付けて推論する能力を保ちながら、長いシーケンスの処理で生じる二乗オーダーのアテンション計算コストを管理可能な水準に抑えている。そのほか、従来の単一の残差経路に代えて、4ストリームのマルチヘッド畳み込み残差接続を採用している。これにより、非常に深いネットワークにおける信号伝播を改善する。また、1回のフォワードパスで複数のトークンを投機的に予測する3ヘッドのMulti-Token Prediction（MTP）モジュールを備え、スループットを高めている。■制約のあるハードウェアでMuonオプティマイザが重要な理由openPangu-2.0-Proの訓練で、あまり論じられていないものの技術的に重要な判断の1つが、最先端モデルの訓練で標準的に使われているAdam系オプティマイザに代えて、Muonを選択したことである。Muonは「MomentUm Orthogonalized by Newton-Schulz iteration」の略で、重み行列を個別のスカラーの集合としてではなく、幾何学的な単位として扱う。各更新ステップの前に、モメンタムバッファへ行列の直交化を適用する。大規模環境でMuonとAdamWを比較した研究では、Muonの方が計算効率に優れ、大幅に少ないトークン量で同等の検証損失へ到達できることが示されている。これは、実質的により多くの計算資源を利用できることに相当する。チップあたりのスループットがNvidiaの同等ハードウェアより低いAscendクラスターでは、この効率性はわずかな改善ではない。このハードウェア上で、この規模の訓練を成立させる重要な仕組みである。2026年4月に公開された1兆6000億パラメータのモデル「DeepSeek V4 Pro」も、訓練モジュールの大部分にMuonを使用している。Kimi K2やGLM-5.2もMuonの派生方式を採用している。このオプティマイザは、その効率上の優位性によってチップ単体のスループット不足を部分的に補えるため、Ascendクラスのハードウェアを使った大規模MoE訓練における事実上の標準になりつつある。■ポストトレーニング：能力を融合するOPDアプローチopenPangu-2.0-Proのポストトレーニング・パイプラインは、最先端モデル開発における最も困難な問題の1つに取り組んでいる。新しいタスクでモデルをファインチューニングした際、以前に獲得した能力が低下する「破滅的忘却」を起こさずに、複数の分野の能力をどのように統合するかという問題である。パイプラインは3段階で実行された。Supervised Fine-Tuning（SFT、教師ありファインチューニング）では、技術レポートが「速い思考と遅い思考」と表現する応答スタイルを統合した。これにより、迅速なパターン補完タスクと、慎重な複数段階の推論の両方にモデルの応答を適合させた。その後、複数の専門的な強化学習（RL）段階で、それぞれ異なる能力分野を個別に対象とした。全分野を同時に訓練した場合に生じる干渉を避けながら、特定分野に最適化した専門モデルの派生版を訓練した。第3段階のOnline Policy Distillation（OPD、オンライン方策蒸留）が、アーキテクチャ上の新しい試みである。専門モデルを順番に適用すれば破滅的忘却が再び起こり、各モデルの重みを平均化すれば専門性が失われる。OPDはそのどちらでもなく、訓練中にオンラインで実行される。すべての重みが更新可能な状態で、専門モデルの能力を単一の汎用モデルへ戻す形で統合する。その結果、ほかの分野の能力を失うことなく、各専門分野で得られた性能向上を取り込んだモデルになる。このパラメータ規模のオープンソースモデルで、この3段階のOPDパイプラインを技術レポートに記載した例はこれまでにない。この手法が最先端規模で真に新しいものなのか、それとも既知の蒸留原理を新たなアーキテクチャ上で応用したものなのかは、GitCodeで公開された技術レポートを独立した研究者が検討するにつれて明らかになるだろう。■性能：判明していることと未確認のことHuaweiは、openPangu-2.0-Proが、同程度の規模を持つほかの主要なオープンソースモデルと比べ、Ascendハードウェア上で約2倍のシングルカードスループットを達成したと主張している。ただし、この数値はHuawei自身が示したものである。記事の公開時点では、Artificial AnalysisやBenchLMなどの独立したベンチマークプラットフォームは、openPangu-2.0-Proの評価結果を公表していなかった。6月30日に公開されたFlash版は、総パラメータ数920億、アクティブパラメータ数60億であり、部分的な判断材料を提供している。Flash版に対するコミュニティのテストでは、中国語と英語のタスクで競争力のある性能があることが、おおむね確認された。Flash版のアーキテクチャは、コミュニティの貢献によってすでにik_llama.cppへ統合されており、Ascend以外のハードウェアで