GPT-4に期待し過ぎ！？実力やいかに

話題の言語AI、ChatGPTがバージョンアップされた。「初代iPhoneと同等の衝撃」「ゲームチェンジャー」と絶賛される一方で、開発元のOpenAIのCEO、Sam Altman氏は「みんな期待し過ぎ」と語っている。本当のところはどうなんだろう。

絶賛しているのはMicrosoftドイツ法人のCTO、アンドレアス・ブラウン氏。オンラインニュースサイトGigazineの記事によると、ChatGPTの基盤モデルがGPT-3.5からGPT-4にバージョンアップされることで、「マルチモーダルになる。従来のGPT-3とは全く異なる可能性を提供する」「ゲームチェンジャーになる」と語っている。マルチモーダルとは「複数の種類のデータを取り扱える」という意味で、これまでのChatGPTがテキストデータしか取り扱えなかったが、今回のバージョンアップで写真などのデータも取り扱えることになったらしい。

一方でAltman氏は、YouTubeに1月にアップされた動画インタビューの中で「ここ半年ほどのGPT-4に関する噂は、バカげているレベル。みんな期待し過ぎ。がっかりすることだろう」と語っている。

「ゲームチェンジャー」なのか。「期待し過ぎ」なのか。どちらの意見が正しいのだろうか。

有料版ChatGPTではGPT-4が利用できるので、周りの有料版ユーザーに話を聞いてみた。「あまり違いが分からない」「アクセス過多でエラーになることが多い」「回答の中に、この質問にはGPT-3が答えています、という一文があった」というような意見があった。GPT-4へのアクセスが制限されているため、実際に違いを実感できる人はまだいないようだ。

一方OpenAIの公式ブログによると、GPT-4は、テキストと写真を入力すると、テキストの回答が出力されるタイプのマルチモーダルらしい。例えば「この写真の中に写っている物体は何ですか」というような質問ができるようになったようだ。

公式ブログは、多くの領域では人間並みの回答はできないとしているものの、ビジネスや学問の領域では人間並みの受け答えが可能としている。実際に司法試験の過去問題を解かせたら、GPT−4は受験者の上位10％以内の得点を出したという。GPT-3は受験者の下位10％程度の得点だったので、明らかに性能が向上している。

このほかにも大学の入試に使われる共通テストなどでも、GPT-4はGPT~3よりも軒並み高得点を獲得している。

一方で、回答の中に間違った情報が混ざるという重大な課題に関しては、ある程度の改良は見られるものの、解決したとは言い難く「人間が最終確認するか、もしくは間違いが許されない状況下では使用しないほうがいい」と警告している。

Microsoftは、OpenAIに出資し、ビジネスに活用したい立場。一方のOpenAIは、研究者集団。こうした立場の違いが、発言の違いを生んでいるようだ。

ただバージョンアップされても、間違ってもいいような状況でしか使えないという点は、変わっていないようだ。