スケール則が健在か、誰に聞けばいいの？

AIブームは、終わろうとしているのだろうか。その答えは、スケール則が今も有効かどうかにかかっているのだと思う。スケール則とは、より多くの資金を投入してAIモデルをより大きくし、より多くのデータを学習させればさせるほど、AIが賢くなる、という経験則。その経験則が今後も有効であれば、AIは急速な進化を続けブームは終わることはないだろう。一方でスケール則がもはや有効ではないということになれば、AIに対する期待が薄れ、AIブームも終わることだろう。果たしてスケール則は今もなお有効なのだろうか。その答えを誰が持っているのだろう。

AnthropicのCEOのDario Amodei氏によると、これまでのスケール則の傾向から見て、1億ドルを投入すれば大学１年生レベルの知能ができる。10億ドルなら優秀な大学生、100億ドルなら優秀な大学院生、1000億ドルならノーベル賞受賞者レベルの人工知能が開発できるだろうという。

ただスケール則は自然法則ではなく、経験則。いつその傾向が失速するのか、誰にも分からない。

そんな中、KDDIのイベントに登壇したOpenAI日本法人の長﨑忠雄代表は、GPTの次のモデルは「過去の実績から見て100倍近く進化していく」と語った。スケール則が今なお健在だという考えだ。
https://www.itmedia.co.jp/aiplus/articles/2409/03/news165.html

一方でプリンストン大学Arvind Narayanan教授によると、今の世代のAIモデルは、ネット上のテキストデータを既にすべて学習済み。これ以上学習できるデータがないので、次世代モデルに資金をどれだけ投入しても過去のような大きな進化はもうない、と断言する。

真っ向から対立する意見だ。誰の意見が正しいのだろう。誰の意見に耳を傾けるべきなのだろう。

私自身、これまでの取材記者としてのキャリアの中で、こうした見解の相違は何度も経験してきた。そのときには発言者の立場から、その意見の信頼性を判断するようにしてきた。

今回の場合だと、スケール則は自然法則ではなく観察結果でしかないので、大学の象牙の塔の中にいる学者よりも、ビジネスの現場で最新の状況を把握している経営者の意見に耳を傾けたいと思う。

とはいうものの経営者の話はポジショントークになりがち。そこでビジネス寄りの経営者より、技術寄りの経営者の意見を重視したい。さらには文字情報よりもインタビューのような動画情報の方が、発言者の真意をつかみやすいように思う。

なので技術系経営者のインタビュー動画を探してみた。まず見つかったのが技術系経営者の代表格とでも言うべきGoogle DeepMindのDemis Hassabis氏の動画だ。同氏は動画の中で「スケール則が今だに有効なことに驚いている。最新の大規模言語モデルでも、考えられないくらいにこの法則が当てはまっている」と語っている。ただこの動画がリリースされたのが、今年２月。半年前だ。AIモデルの開発状況は半年間で激変する。もっと直近のインタビュー動画が欲しいところだ。

直近の動画だと　AnthropicのDario Amodei氏の動画が8月31日にリリースされている。同氏は、前職のOpenAIで言語モデルチームのリーダー的存在だった人物。典型的な技術系経営者だ。

動画の中で同氏は、次のように語っている。「過去10年間、AIの進化の傾向を見てきた経験から、スケール則がすぐに終わるとは思えない。多分６対４、いや７対３の確率でスケール則は継続すると思う」。また「どういう状況になればスケール則が終わったと認識するのか」という質問に対し、「いろいろ試行錯誤を続けても性能が向上しなかったり、有効な学習用の合成データを作れなかったりしたら、スケール則が終わったんだなって思うのだろうと思う」と語っている。この語り口からして、現在開発中の次世代のAIモデルはまだそうした状況にはなっていないのではないかと推測される。

つまりスケール則がまだ有効だ、ということだ。

新しい世代のAIモデルが12ヶ月から18ヶ月の間隔で登場するとして、その次の世代のモデルが登場する12ヶ月から18ヶ月先までは、スケール則が否定されることはない。よってAIブームが終わることもない。個人的にはそんな風に考えている。