Mixture-of-Experts (MoE)
LLMのフィードフォワード層を、単一の巨大なネットワークではなく複数の「エキスパート」ネットワークに分割し、トークンごとに学習可能なルーターが一部のエキスパートだけを選んで計算させるアーキテクチャ。dense(密結合)モデルと対比される。
仕組み
各トークンについてルーターがエキスパートごとのルーティングスコアを計算し、上位k個(top-k)のエキスパートだけを活性化して出力を重み付き合成する。数式で書くとMoE(x) = Σ g_i(x) E_i(x)(g_iはルーターが選んだエキスパートにのみ非ゼロの重みを与えるゲート関数)。
総パラメータ数とアクティブパラメータ数
MoEモデルを語る際は2つの数字が区別される。
- 総パラメータ数: チェックポイントに保存されている全エキスパートを含めた数。
- アクティブパラメータ数: 1トークンの計算で実際に使われるエキスパートのみの数。
たとえばKimi K3は896個のルーティングエキスパートのうちトークンごとに16個だけを選択する。総パラメータ数が兆単位でも、アクティブパラメータ数ははるかに小さく抑えられる設計が2026年時点のオープンウェイト陣営で主流になっている(オープンウェイトLLM MOC参照)。
メリットと課題
- 保存パラメータ数を増やしても1トークンあたりの計算量(FLOPs)は増やさずに済むため、計算コストを抑えたままモデル容量を増やせる。
- 一方でルーティング・トークン移動・メモリアクセスのオーバーヘッドがあり、アクティブパラメータ数が同じでも実際のレイテンシはdenseモデルと同じにはならない。
- ルーターが一部のエキスパートに偏ってトークンを送ると、そのエキスパートだけが過学習し他が使われなくなる問題があるため、補助損失やルーティングバイアスなどのロードバランシング機構が併用される。
採用例
Llama 4、GLM-5、Mistral Large 3、gpt-oss、DeepSeek V4、Kimi K2.6、Kimi K2.7 Code、Kimi K3など、2026年時点の主要なオープンウェイトLLMの多くがMoEを採用している。対照的にQwen3.8-27Bはdense構成を選んでいる。