ひろゆきさんが「今、話したい人」と対談する本連載。若きAI研究者であり、超がつくゲーマーである今井翔太さんを迎えた前編では「なぜゲームではすごいのに、現実世界ではうまくいかないのか？」についてユニークな考察が聞けました。

【前編記事を読む】社会で成功するゲーマーに、ひろゆきが聞く「現実世界を攻略できないゲーマーに足りないものって何すか？」 https://type.jp/et/feature/27086/

本記事では、前編ではまとめきれなかった、ひろゆきさんの質問に対する今井さんの回答をお届けします！

GPUではなくCPUでそれなりの速度で計算するBitNetのLlama8B版が出たようですが、実用に耐えうるとすると、GPUを大量に買い付ける事が出来たアメリカの会社が強いという流れが崩れるかもしれないと思うのですが、どうですかね？

Bitnetの話題は割と専門家以外は知らないニッチなネタだと思うので、ちょっとひろゆきさんの見識に驚きました……かなりマニアックな話になりますが大丈夫でしょうか……？

勉強になるので知りたい感じですー。

個人的には、AI研究上の知識を知ってもらうのはうれしく、研究者としては面白い疑問なのでちょっと長めに答えますね。

気鋭のAI研究者・今井翔太が回答！
「CPU需要が上がるのは間違いない。GPUの需要は……」

まずこれは、ひろゆきさんの質問には含まれていないのですが、CPUの需要が上がるのは間違いないです。

一方で、 Bitnetやその他GPUを必要としない小型モデルが乱立しても、即座にGPUの需要が下がるのは考えにくい。なので、GPUを大量に持っているアメリカの会社は少なくともAIの開発段階では当分強いままだと思います。

生成AIの処理には、学習段階（大企業がAIにデータを食わせて能力を上げていくフェーズ）と推論段階（一般ユーザーが生成AIを使うフェーズ）があるのですが、Bitnetなどの手法が関係してくるのは後者の推論フェーズの方です。

ものすごく細かい話になるのですが、学習段階でBitnetのような高速度の低精度パラメータの量子化技術を使うことは基本的にできません（量子化技術全体はともかく、Bitnet自体は学習時から量子化しているので微妙に複雑ですが）。なぜなら学習時にこれらを使うと、エラーの蓄積が大きくなりすぎて（超細かい話をすると、学習は誤差逆伝播という手法を使っているのですが、これは掛け算の連続なので、誤差が掛け算のたびに大きくなります）、学習されたパラメータが使い物にならなくなります。

一方で、一旦学習が終わったあとのニューラルネットワークのパラメータには、実用上必要ない冗長な部分が含まれていたり、限りなく0に近い値が含まれていたりするので、これらの値を0にしたり1にしたりする、あるいは小数点以下の精度を落としたりすると、大して性能は落とさずに性能を上げることができる……というのがBitnetなどの量子化技術（あるいはちょっと似た、パラメータを削除する枝狩りという技術）の背景にある考えです。

現在の生成AIは、スマホやPCなどのエッジデバイスで動かすには大きすぎ、遅すぎますし、事業者のサーバーで動かすにしても、電力消費が大きすぎます。なので、今後もBitnetのような手法はどんどん出てくるでしょう。

このあたりはかなり進化していて、去年のGPT-4レベルのものが、今では僕のMacPC上で動きます。手法の発展もそうですが、もちろんハードの進化の方も重要なファクターなので、エッジデバイスに積むCPUなどの処理装置は史上稀に見る技術スピードと需要になっています。

GPUの需要はどうかという話に戻るのですが、Bitnetなどの手法がどれだけ発展しようが、CPUの需要がどれだけ増えようが、GPUの需要が減ることは、少なくとも現在のニューラルネットワークをベースとしたAI技術が主流の間はほぼありえません。

なぜなら、AIの学習段階については、Bitnetなどの推論時の効率化とはまったく逆行して、どんどん大規模化が続いているためです。この「学習の大規模化」については、三つの流れがあります。

潮流1/スケーリング則

まず一つが、生成AIブーム以前の2020年に発見されたスケーリング則というものです。スケーリング則が言っていることは、「学習データと、計算量と、ニューラルネットワークのサイズという三つの要素を増やし続ければ、AIの性能は無限に上昇し続ける」というものです。

AI研究というのは、僕みたいな研究者が美しい理論を考えたり、ニューラルネットワークの形を工夫したり、いろいろとスマートなことをやりながら発展してきたのですが、このスケーリング則が言っていることは、「このようなスマートな工夫はあまり性能向上に関係なく、上述の三つの要素を増やすためにどれだけお金がかけられるかが重要である」ということです。

ここでお金がかかるのは、計算量を増やすためのGPUで、要するにGPUをひたすら買ってAIの学習に使えば、勝手に性能がよくなっていくという話です。

潮流2/表に見えているGPU需要はごく一部

二つ目は、このようなスケーリング則に従う大規模学習によってAIの性能が上がっていく傾向は、生成AIに限らないということです。生成AIというのは、あくまでもAI研究全体の一分野であるわけですが、実際には生成AI分野以外にも発展が望まれている分野は山ほどあります。

例えば今年のノーベル賞のように「科学的発見のためのAI」もそうですし、ロボット操作とかもそうです。つまり、GPUの需要で表に見えている生成AIへの利用は未来の需要から見るとごく一部なのです。

結局、ニューラルネットワークの大規模学習を行うことには違いがないので、GPUが大量に必要になってきます。ロボットとか科学的発見とかになると、それこそ安全保障の問題になってきますので、GPUを調達できないことは、それこそ国家の運命を左右するかもしれません。

潮流3/推論時スケーリング

最後はここ2カ月くらいで研究者の間で重要視され始めた説で「推論時スケーリング」というものです。先ほどから言っていたように、GPUを大量に必要とし、その量に応じて性能が上がっていくスケーリング則というのは、学習時だけの話とされていたんですが、実は推論時にも、大規模に計算を行う（つまり、AIに長く考えさせる、何度も生成AIの処理を裏側で実行すること）が性能向上に寄与することが明らかになってきました。

これは9月にOpenAIから公開されたOpenAI o1というAIが発端です。このAIは、博士号取得者レベル（つまり、この文章を書いている僕くらい）の能力を持っているんですが、その能力を得る鍵が、推論時に大規模な計算を行うことだったのです。

しかもこの推論時の性能は、計算量を増やせば増やすほど上がっていくという法則……つまり「推論時スケーリング則」が確認された、ということになります。

よって、最初の方に言っていた「学習時と推論時で分けて考える」という説が実は微妙になって、「推論時にすら大規模な計算が必要かもしれない」という流れができていて、結局推論時にもGPUを積んで力任せに計算したほうがいいかも……と研究者は考えるようになっています。

以上の3説により、GPUの需要は、Bitnetなどの推論時効率化の手法がどれだけ発展しても減らず、むしろAI研究の流れを踏まえると上がり続ける、というのが研究者としての意見になります。

ひろゆきさんの感想

なるほど。GPU需要に関しては、AI開発が金突っ込んだもの勝ちが進むと寡占になって、ある程度のところで民間企業は投資をしなくて良くなるのではないかな、、と感じました。

検索エンジンには膨大な量のハードウエアが必要で、昔はgooとかInfoseekとか日本だけでも数社ありましたが、今はほぼゼロ。世界中でAIの学習段階をやってる現状から、一兆円以上の投資をした企業しか参入できない時代になると、競争をほぼしなくなるのかもしれませんね。

日本の携帯キャリアが性能的にもそんなに変わらないのと同じようなもので、、、

んで、推論時の計算結果の方ですが、一般人が高性能なスマホで、YouTubeみて、ソシャゲやって、Xやるくらいなので、GPT-4を超える性能の違いが必要になるのかな、、？と個人的には思いました。

ムーアの法則的なCPU性能の向上は落ち着いた、省エネとか携帯向けとかにシフトしてるので、多数の一般人は推理時の高性能は必要ないのではないかと。んで、研究機関とかは一兆円以上投資できた寡占企業のAPIを使う、、みたいな。

AI研究者，博士（工学，東京大学）
今井翔太さん（@ImAI_Eruel）

1994年、石川県金沢市生まれ。東京大学大学院 工学系研究科 技術経営戦略学専攻 松尾研究室にてAIの研究を行い、2024年同専攻博士課程を修了し博士（工学、東京大学）を取得。人工知能分野における強化学習の研究、特にマルチエージェント強化学習の研究に従事。ChatGPT登場以降は、大規模言語モデル等の生成AIにおける強化学習の活用に興味。生成AIのベストセラー書籍『生成AIで世界はこう変わる』（SBクリエイティブ）著者。その他書籍に『深層学習教科書 ディープラーニング G検定(ジェネラリスト)公式テキスト 第2版』（翔泳社）、『AI白書 2022』（角川アスキー総合研究所）、訳書にR.Sutton著『強化学習（第2版）』（森北出版）など

ひろゆきさん（@hirox246）

本名・西村博之。1976年生まれ。「2ちゃんねる」開設者。東京プラス株式会社代表取締役、有限会社未来検索ブラジル取締役など、多くの企業に携わり、プログラマーとしても活躍する。2005年に株式会社ニワンゴ取締役管理人に就任。06年、「ニコニコ動画」を開始。09年「2ちゃんねる」の譲渡を発表。15年に英語圏最大の匿名掲示板「4chan」の管理人に。著書に『働き方 完全無双』（大和書房）『プログラマーは世界をどう見ているのか』（SBクリエイティブ）『１％の努力』（ダイヤモンド社）など多数。ABEMAで配信中の『世界の果てに、ひろゆき置いてきた』も好評

今井翔太さん写真／桑原美樹
ひろゆきさん写真／赤松洋太
編集／玉城智子（編集部）