(画像はAdobe Fireflyで「「AI時代のビジネスチャンスはデータ生成」というのが主張。ロボットがデータを生成している図を描いて」というプロンプトで生成)
LLM(大規模言語モデル)によって生成されたデータが、次の世代のLLMの学習データになり得るのか、という議論がある。
LLMが生成したデータは、もともと人間が作ったデータ。そのデータを基に作られたLLMが生成したデータだから、生成されたデータも基のデータと同じ要素を持っているはず。なので生成データは次世代LLMの学習データにはなり得ないという意見がある。
一方で、LLMには新しいオリジナルなデータを生成するクリエイティビティがある。なので、生成されたデータは次の世代のLLMの学習データになり得るという意見もある。
どちらの意見が正しいのだろう。
シリコンバレーの著名VCマーク・アンドリーセン氏は、もし次世代LLMの学習データになるようなデータを生成できる方法を考案できれば、その企業は巨額の富を得ることになるだろう、と語っている。
例えば、AIの一体が医者になり切り、もう一体が患者に成り切る。2体のAIが会話することで新たな学習データを生成できる。もしくは一体のAIがウクライナ人に成り切り、もう一体のAIがロシア人に成り切って対話する。これまでにないような知見や、データを生成できるかもしれない。
「十分に大きなAIにこうしたデータを生成させて、生成されたデータを学習させれば、やがてAIは世界を理解するようになるのではないかと考える人たちがいる。物理の世界を完全に理解するようになるかもしれない」とアンドリーセン氏は言う。
AIの大規模化が進む中、有効な学習データを生成する方法が見つかれば、AIは無限に賢くなっていくことができるのかもしれない。
HOW TO USE LLMS IN SYNTHESIZING TRAINING DATAというWebページに、生成AIで学習データ作るプロンプトの例が載っていた。
Create a CSV file with 25 random sales records for a coffee shop.
Each record should include the following fields:
– id (incrementing integer starting at 1)
– date (random date between 1/1/2022 and 12/31/2022)
– time (random time between 6:00am and 9:00pm in 1-minute increments)
– product_id (incrementing integer starting at 1)
– product
– calories
– price in USD
– type (drink or food)
– quantity (random integer between 1 and 3)
– amount (price * quantity)
業界や領域次第かもしれないが、果たして生成AIによる学習データ作りはうまくいくのか。注目したい。
YouTubeインタビューから
◎2030年代に我々はサイボーグになり、2045年に予測不可能な未来に入る=レイ・カーツワイル氏
大規模言語モデル(LLM)が急に進化し始め、汎用人工知能(AGI)や、その数百倍から数千倍賢い超知能(ASI)実現の可能性が見えてきた。人工知能が進化することで想像不可能な社会変化を起こすと、2005年出版の「Singularity is near」という本の中で予言したレイ・カーツワイル氏。彼は今、何を考えているのだろう。LLMの急速な進化を受けて、彼の主張に変化はあったのだろうか。
カーツワイル氏によると、シンギュラリティの定義は「我々にとって何が大事か、我々は何なのか、という価値観や概念をコンピューターが変える時点」とのこと。本の中ではシンギュラリティは2045年前後と予測されている。今回のインタビューの中でも、カーツワイルはその予測を変えておらず、2045年にはAIの知性が人間の知性の数百倍賢くなり(超知性、ASI)、どんな社会になるのか想像が難しいと言う。
物理学で言うところのシンギュラリティとは、物理法則が崩壊してしまう時空間のことで、そこでは現在の物理学の常識が成り立たないという。ブラックホームはシンギュラリティの1つの例だ。
定義自体が、今までの常識が成立しない、というものなので、2045年がどんな社会になるのか予測はほぼ不可能だと思う。カーツワイル氏は「音楽を聴いたことがない人に音楽のことを説明しても理解してもらえない。シンギュラリティも体験しないと分からないと思う」と語っている。
超知性(ASI)の時代はまったく予想できないとして、もう一方のAGI(汎用人工知能)はいつ完成するのだろうか。この問いに対しカーツワイル氏は「2029年までにAIがチューリングテストに合格する」と予測する。チューリングテストとは、1950年にイギリスの数学者アラン・チューリングが提唱した、機械が「人間的」かどうかを判定するためのテスト。チューリングは15分間ほどテキストメッセージのやりとりで、検査官が「相手は人間である」と判断すれば合格というものだった。だが、カーツワイル氏はより厳しいチューリングテストを提唱している。それは言語モデルの専門家が数時間に渡って質問し続けて、それでも人間かAIか判断がつかなければ合格にするというもの。今日の言語モデルは数学が苦手なので、ちょっとひねった数学の問題を出されるだけで、人間でないことがばれてしまう。ほかにも今日の言語モデルの特徴がいろいろあるので、専門家をだますことは簡単ではない。しかし2029年ごろにはAIがさらに進化、カーツワイル式のチューリングテストでも見分けがつかないくらいにAIが進化するだろう、としている。カーツワイル氏によると、そのころにはAIが意識を持ったと考える人が増え、そのときがAGIが完成したとみなしていいころだと語っている。
また2030年代には、脳とコンピューターを結ぶデバイスが小さく高性能になり、多くの人が脳とAGIを接続するようになる、と予測している。多くの人がサイボーグになるというわけだ。
AIの進化で社会から仕事がなくなるという予測や、新しいスキルを身に付けなければならないという予測があるが、人間がAGIと接続されるようになれば、スキルを学び直すのも一瞬になるし、新しい仕事に簡単に順応できるようになるのかもしれない。
教育はどう変わるのだろうか。小学校から大学まで何年もかけて知識を学ぶ必要がなくなるのではないだろうか。
また人と人との会話や情報伝達も一瞬で可能になる。
2045年ごろのASIの時代は、どんな社会になるのか不透明だと言われるが、10年以内にくるAGIの時代でも、十分に大きな社会変化が起こりそう。
本当にそんな時代がくるのだろうか。脳とコンピューターを結ぶ技術Brain Computer Interfaceの進化具合もウォッチし続けたいと思う。
(ソース Ray Kurzweil: Singularity, Superintelligence, and Immortality | Lex Fridman Podcast #321 英語)
「これまでもいつ地震が起こるかもしれないし未来は分からなかった。でも今までは、社会の基本的なあり方というものは変化しなかった。中世の農民は10年後も農民だったし、年長者が教えてくれる基本的なスキルは10年後も有効だった」
「でも今は10年後に労働環境がどうなっているのかは誰にも分からない。プログラマーは2030年代にも必要だろうか。多分そんなことはない。AIがすべてのプログラミングをやるようになるだろう」
「最も大事なスキルは、学び続けるというスキル。変わり続けるというスキル。これは簡単なことではない。スピリチュアル・プラクティスのようなもの。自分自身の人格を作り上げなければならない。柔軟な心でなければならない。これまでの教育は、しっかりとした土台を作って石の家を作るようなものだった。これからは、すぐに移動できるようにテントのような教育のほうがいい」
今週のそのほかのニュース
名前はGrok。チャット型AIの目的は「宇宙を理解すること」。試験段階が終われば、まずはX(旧Twitter)のサブスクユーザーに提供するという。X上のコンテンツをリアルタイムで検索できるようになる。
Xって、最も情報が早く流れるメディアの1つ。僕自身も地震が発生したら、まずXを検索する。ローカル情報なども、どこよりも詳しかったりする。ただ検索機能がイマイチ。
検索機能がイマイチな理由の一つは、ユーザーの意図が検索キーワードの形で表現しづらいこともあると思う。自然言語でなら、微妙なニュアンスを伝えることができるし、チャット型AIはユーザーの問いの意図を推測する能力に長けている。Xを自然言語で検索できるのなら、サブスクしてもいいかなって思う。
またChatGPTに比べると、ユーモアのある答えを返してくれるらしい。最近は、話し相手としてチャット型AIを利用する人が増えているらしいので、そうしたニーズに応えようとしているのだろう。
Grokの基盤モデルは、独自開発のGrok-1と呼ばれる大規模言語モデル。性能は、GPT-4にはかなわないもののGPT-3.5とはいい勝負らしい。