NVIDIAの推論王国拡大中　SemiAnalysisのレポートから

米調査会社SemiAnalysisは3月24日、Nvidia – The Inference Kingdom Expandsと題したレポートを公開した。NVIDIAが推論の王国を拡大しているという意味だ。ここでいう推論とは、学習済みのAIが実際に動き、利用者の質問に答えたり、企業の業務を処理したりする段階を指す。つまり、企業が日常的にお金を払いながら使うAIである。SemiAnalysisによると、NVIDIAは今、この推論市場の覇権争いに王手をかけた状態だとみているようだ。

これまでAI業界では、どれだけ高性能なモデルを学習できるかが最大の関心事だった。そのため、巨大な学習を支える半導体が主役となり、NVIDIAはその中心に立ってきた。だが、AIが企業システムや現場業務に本格的に入り込むにつれて、勝負の軸は変わりつつある。これから重要になるのは推論の領域、つまりAIをどれだけ安く、どれだけ速く、どれだけ大量に動かせるかという点だ。SemiAnalysisのレポートは、NVIDIAの最近の発表を追いながら、AIの主戦場が移動していることを解説している。

背景にあるのは、推論の計算量の急増である。企業のAI利用は、単純な質疑応答からAIエージェントの利用へと移行している。AIエージェントは、長い資料を読んだり、大量のコードを処理したり、複数の手順を踏んで作業を進める。NVIDIA自身も、長い文脈を扱う対話や、複数段階で考えながら動くエージェント型AIの需要が強く伸びていると説明している。AIが仕事の現場に深く入るほど、1回の利用で必要になる計算量も増え、月間の利用回数も膨れ上がる。AIのコストが経営テーマになってきたのはそのためだ。

ここで重要になるのが、1トークンをいくらで生成できるかという発想である。トークンはAIが文章を処理したり生成したりする際の最小単位で、要するにAIの返答にかかる原価に近い。今後のAIビジネスでは、モデルの賢さだけではなく、その原価をどこまで下げられるかが極めて重要になる。しかも、ただ安いだけでは足りない。応答が遅ければ使い物にならず、同時に大量処理できなければ企業向けサービスとして成立しない。SemiAnalysisは、これからのAI市場では、コスト、処理量、応答速度の三つをそろえた企業が勝つ構図になっていくと指摘する。特に、すぐ返事が欲しい用途、長い資料を読み込む用途、段階的に考えながら動く用途は、最も収益性の高い市場になってきているという。

SemiAnalysisによると、NVIDIAは、最新GPUだけでなく、それらを高速につなぐ接続技術、AIを効率よく動かすソフトウェア、さらにデータセンター全体の設計まで含めて、一気通貫で提供し始めている。NVIDIAは3月の技術ブログで、次世代のAI基盤を一つの巨大なAIスーパーコンピューターとして説明した。部品を個別に売るのではなく、AI工場そのものを丸ごと設計して供給する発想である。SemiAnalysisも、NVIDIAが推論向けの新しいラック構成や、長文処理を支える周辺基盤まで含めて押さえにきている点を重視している。

数字も大きい。NVIDIAは公式ブログで、次世代システムGB300 NVL72が旧世代と比べて最大50倍高い電力あたり処理性能を実現し、低遅延用途ではトークン生成コストを最大35分の1に抑えられると説明している。もちろん、こうした数字には条件がつくため額面通りには見られない。だが少なくとも明らかなのは、NVIDIAが勝負の軸をモデル性能の一点に置いているのではなく、AIをどれだけ安く速く回せるかという経済性の争いに移していることだ。

SemiAnalysisによると、この市場は一度勝つと有利になり、その後も勝ち続ける可能性があるという。学習は巨額投資ではあるが、ある意味では大きな初期投資に近い。一方、推論はAIが使われるたびに毎回売上が発生する継続収益型の事業になりやすい。しかも最適化が難しい。半導体だけでなく、接続、ソフトウェア、記憶装置、データセンター運用まで全体がかみ合わなければ、十分なコスト低下も速度改善も実現できない。だから参入障壁が高く、一度優位を築けば長く支配しやすい。SemiAnalysisが推論の王国という表現を使った背景には、こうした勝者総取り型の構造の可能性を感じているからだろう。

さらに見逃せないのは、推論コストが下がるほど需要はむしろ膨らみやすいことだ。経済学でよく言われるジェボンズのパラドックスによると、資源の利用効率が上がると消費が減るのではなく、逆に利用量が増えることがある。価格を下げると売り上げが落ちるように思うが、実際には低価格を理由により多くの人が購入することになり、結果として売り上げが上がるという現象だ。AIでもこれと同じことが起きる可能性が高いとSemiAnalysisは指摘する。NVIDIAが低遅延、長文対応、AIエージェントを繰り返し強調しているのは、その先に最も大きな需要拡大があると見ているからだろう。

NVIDIAは学習用半導体で今もうすでにAI業界の主要プレーヤーである。だが、同社がその先で築こうとしているのは、もっと大きな帝国だ。AIを作る市場ではなく、AIを毎日回し続ける市場である。しかもそこは、使われるたびにお金が落ちる。SemiAnalysisのレポートが示しているのは、NVIDIAがAI時代の本当の金脈を見つけ、その支配権を握ろうとしているということだ。学習で勝った企業が、今度は推論でも勝とうとしている。今回のNVIDIAの年次イベントGTC 2026は、その野心をかなりはっきり示した場だったと言えそうだ。