🚀 AMDが「GPUを売る会社」からAIモデル開発まで踏み込む理由
AMDは2026年7月、自社のデータセンター向けGPU「Instinct MI300X」「MI325X」とオープンなGPUソフトウェア基盤「ROCm」を使い、ゼロから学習した言語モデル「Instella-MoE-16B-A3B」を公開しました。最大の特徴は、単にモデルの重みを配布するだけではなく、事前学習から中間学習、長文脈化、教師ありファインチューニング（SFT）、DPO、強化学習（RL）までの各チェックポイントに加え、学習フレームワーク、データ構成、推論コードなども公開している点です。AMDにとってInstella-MoEは「高性能な小型LLMを作った」というだけのプロジェクトではなく、NVIDIA製GPUを使わなくても、AMDのGPUとROCmだけでモデルの事前学習から強化学習まで完結できることを実証するショーケースという意味合いが強いと考えられます。AMDは現在、Instinct GPUだけでなくROCm、Primus、推論最適化ツールなどAI開発基盤全体を拡充しており、Instella-MoEはハードウェアとソフトウェアを一体化した戦略の成果ともいえます。
🧠 160億パラメーターなのに実際に動くのは28億、「MoE」の強みとは？
Instella-MoEは「Mixture-of-Experts（MoE）」と呼ばれる疎なモデル構造を採用しています。総パラメーター数は160億ですが、1トークンの処理で実際に利用されるのは約28億パラメーターです。モデル内部には64個の「Expert（専門家）」が用意され、各トークンについて6個のExpertと2個の共有Expertを選択して処理します。通常のDenseモデルでは全パラメーターをほぼ毎回動かす必要がありますが、MoEでは必要な部分だけを動かすため、モデル全体には大きな知識容量を持たせながら、推論時の計算量を小型モデルに近づけられるのが利点です。さらにInstella-MoEではGated Multi-head Latent Attention（Gated MLA）や、複数GPU間の通信と演算を重ね合わせる「FarSkip-Collective」といった技術も導入されています。
MoEには一方で、Expert間で処理量が偏る「ロードバランシング」や、大規模GPUクラスタでExpertをまたいだ通信がボトルネックになる問題があります。特にAI学習ではGPUそのものが高速でも、GPU同士が計算結果を待ち続ければ全体の性能は伸びません。FarSkip-Collectiveはこの通信待ちを減らして計算と通信を並行させることを狙ったAMDの技術で、Instella-MoEはモデルそのものだけでなく、AMD製GPU上でMoEを効率良く学習させるシステム技術の実験場にもなっています。AMDは2025～2026年にPrimus-TurboなどでGrouped GEMM、Attention、FP8、通信・計算オーバーラップといった大規模MoE向け最適化を強化しており、Instella-MoEはこうした取り組みを実際のモデル学習で検証した例と見ることができます。
🔧 Instella-MoEの主な仕様
- 🧠 総パラメーター数：160億
- ⚡ 1トークン当たりのアクティブパラメーター：約28億
- 🧩 Expert数：64＋共有Expert 2
- 🎯 1トークン当たり選択Expert：6
- 🏗️ Decoder Layer：27層
- 🔠 語彙数：128,896
- 👁️ Attention：Gated MLA
- 🔗 MoE通信：FarSkip-Collective
- 🖥️ 学習GPU：AMD Instinct MI300X／MI325X
- ⚙️ 基盤：ROCm＋Primus＋Miles
仕様だけを見ると「16Bモデル」ですが、推論時の計算負荷を考える際には16BよりA3B（約3Bアクティブ）の方が重要という、MoE特有の見方が必要になります。
📚 学習途中まで公開、6種類のモデルからAI開発の過程を追跡可能
AMDが今回特に強調しているのが「Fully Open」という考え方です。完成したThinkモデルだけでなく、AIがどのような工程を経て能力を獲得したのかを追えるよう、学習段階ごとの6モデルを公開しています。これは「完成した重みだけをダウンロードできる」一般的なオープンウェイトモデルとは少し異なり、研究者が事前学習と後学習の差や、SFT・DPO・RLによって能力がどう変化するのかを調べられる点に価値があります。AMDのPrimusはMegatron-LMやTorchTitanなど複数のバックエンドを統一した形で扱える大規模学習フレームワークで、2026年のMLPerf TrainingでもAMDのLLM学習に利用されています。なおInstella-MoEのモデルカードではResearchRAILライセンスによる学術・研究用途向けとされているため、「完全オープンだから商用利用も無条件で自由」という意味ではない点には注意が必要です。
公開されたチェックポイントは次の6種類です。
- Pretrain：大規模データからゼロから事前学習
- Midtrain：数学・コード・推論などの能力を重点的に強化
- Base：長文脈処理を追加した最終ベースモデル
- SFT：教師あり学習で指示追従・推論能力を追加
- DPO：人間の好みに近い回答を選ぶよう直接選好最適化
- Think：さらに強化学習を施した最終推論モデル
つまり研究者は「完成品を使う」だけでなく、同じAIがPretrain → SFT → DPO → RLと進む過程そのものを比較できることになります。Transformersに加え、vLLMやSGLangでの実行方法も案内されており、量子化版を利用すればllama.cpp、Ollama、LM Studioなどへの展開も視野に入ります。
📊 Gemma-4-E4Bを上回る性能、AMDが本当に証明したかったものとは
性能面では、AMDの評価で最終版「Instella-MoE-16B-A3B-Think」が、同程度の計算量を持つオープンモデルに対して高い結果を示しています。AMDが公開したOLMESベースの総合評価では、Gemma-4-E4B（Think）の70.47、Qwen3.5-4Bの69.73をInstella-MoE-Thinkが上回ったとされています。一方、BaseモデルではQwen3.5-4B-Baseに及ばないベンチマークもあり、「すべての能力で競合を圧倒した」というわけではありません。特にThinkモデルの結果はSFT・DPO・RLまで含めた後学習による改善も大きく、モデルサイズだけを見て単純比較するのは注意が必要です。またベンチマークはAMD自身による評価であり、実際の日本語性能、幻覚、長時間のエージェント処理などは別途第三者による検証が必要でしょう。AMD自身もモデルカードで、事実精度や安全性が要求される用途、医療などへの利用を想定しておらず、多言語能力についても十分に評価していないと明記しています。
むしろInstella-MoEで重要なのは、ベンチマークでGemmaを数ポイント上回ったこと以上に、AMDが「自分たちのGPUで、大規模LLMの学習スタックを最初から最後まで動かせる」と示したことです。AI GPU市場ではハードウェア性能だけでなく、学習フレームワーク、通信ライブラリ、カーネル最適化、推論エンジン、開発者向けツールまで含めたソフトウェア環境が重要になります。AMDはROCmを中核としてPrimus、Primus-Turbo、Primus-SaFEなどを整備し、2026年にはUnslothもAMD GPUを正式サポートするなど、周辺エコシステムを拡大しています。さらに現在のInstinct製品群はMI300／MI350からMI400シリーズ、72基のMI455Xを搭載するHeliosラックへと展開しており、Instellaのような自社モデル開発は**「AMD GPU上でも本格的なAIモデル開発が成立する」という開発者向けの実証データを蓄積する役割**も果たしていると考えられます。
🔍 まとめ：Instella-MoEは小型AI以上に「AMDのAI基盤の実証モデル」
Instella-MoEは、160億という大きな総パラメーターを持ちながら、MoEによって1トークン当たり約28億パラメーターだけを使い、比較的少ない計算量で高い性能を狙ったモデルです。Gemma-4-E4Bなどと競争できる性能も注目されますが、より大きな意味は、AMD Instinct GPU＋ROCm＋Primusという自社エコシステムだけで、事前学習からSFT、DPO、強化学習まで一貫して実行できたことでしょう。NVIDIAとは異なるオープンなAI計算基盤を広げたいAMDにとって、モデル・学習コード・中間チェックポイントまで公開するInstella-MoEは単なるLLMではなく、自社のハードウェアとソフトウェア技術を証明する「リファレンス実装」に近い存在です。今後、Instellaシリーズのモデル規模拡大やマルチモーダル化、MI350・MI400世代での学習へ発展するかが注目されます。
📚 参考・出典
- AMD ROCm Blog「Introducing Instella-MoE: A State-of-the-Art Fully Open Mixture-of-Experts Language Model」— Instella-MoEのアーキテクチャ、ベンチマーク、学習手法。
- AMD / Hugging Face「Instella-MoE-16B-A3B-Think」— モデル仕様、6段階のチェックポイント、学習方法、ライセンス、利用上の制限。
- AMD-AGI / GitHub — Instella-MoE、Primus、Primus-TurboなどAMDのオープンAI開発プロジェクト。
- AMD ROCm Blog「Technical Dive into AMD’s MLPerf Training v6.0 Submission」— Primusを用いた大規模LLMトレーニング。
- AMD「ROCm Software」— ROCmのAI開発基盤、ライブラリ、ツール、対応ハードウェア。
- AMD「Instinct GPUs」— MI300・MI350・MI400、HeliosなどデータセンターAI製品群。
- AMD「Open-Source GenAI Models Built by AMD」— AMDが公開している言語・マルチモーダル・生成AIモデル群。
