[ JRF のひとこと ] xxLLM(拡張同時応答機械指示付きLLM)について Gemini さんと会話し...

宣伝: 『宗教学雑考集易理・始源論・神義論』アーリーアクセス版(JRF 著)。
Booth で、DRM フリー電子書籍(EPUB＆PDF)を販売中！宗教に関する哲学的な話題を雑多に集めた論考集です。(2024年1月5日発売)

cocolog:95029217

xxLLM(拡張同時応答機械指示付きLLM)について Gemini さんと会話した。度忘れしたトピックを思い出すのを手伝ってもらいながら。出力途中での修正や、子分 AI 出力の利用などを話した。 (JRF 9866)

JRF 2024年9月 1日 (日) Tweet

Gemini さんと会話した。いつも通り Gemini さんの会話ははしょってある。今回 () の中の注は会話のあとから私が書き加えたもの。

JRF2024/9/17501

……。

jrf> 以前 Gemini さんに話したアイデアですが、(家電操作などを想定して) JSON を出力する xLLM に対し、JSON を出力するプログラムを出力する LLM 名付けて xxLLM のほうが、性能がいいのではないかと考えたことがあります。なぜなら、LLM は逐次出力するため、最初の出力を間違えないようにすることが難しいのですが、xxLLM だと途中で前の式に関して代入などをするなどして修正できるようになるからです。これは下の岡野原さんの Tweet にも似た考えがありますね。

JRF2024/9/12280

(注: 同時応答機械指示付きLLM (題して xLLM)に対し、拡張同時応答機械指示付きLLM を xxLLM と呼ぶ。[cocolog:94833189](2024年5月)にアイデアがある。)

ところで、これに関して何か注意点を思いついたのですが、度忘れしてしまいました orz。それはなんだったと Gemini さんは思われますか？

JRF2024/9/10248

《Daisuke Okanohara / 岡野原大輔:X:2024-08-31》
https://x.com/hillbig/status/1829788541729325353
＞Physics of LM Part 2.2 https://arxiv.org/abs/2408.16293

LMは簡単な算数の推論タスクで間違えることが知られており、フロンティアモデルの残された大きな課題の１つとされる。

JRF2024/9/16156

この場合、まだ必要な情報が揃っていないのに、変数の導出を行い結果を間違うことがわかっている。調べると、変数の導出をする直前でLMは自分が間違えたことに気づいているが勢いで生成せざるをおえなくなっていること、また学習する際に正しい推論系列しか見ていないので、間違えた時の修正の仕方を学習していないことが問題である（学習時と推論時の分布の違い、または受動的な学習か能動的な学習かの違い）。

そこで、最初のアプローチとして間違えたことに気づいた時点で、生成をやり直す方法を試した。かなり高い精度で検出できるが、生成をやり直すだけしかできず最終結果を正しく改善するには多くの再生成が必要になる。

JRF2024/9/19611

これに対し、間違えた場合でも修正できるように、推論過程に間違いを含みそれを修正するような学習データを用意した。推論の各過程に一定の確率で、本来はその時点で導出できない変数を導出しようとし、[RETRY]トークンを入れる。（同じ場所に複数同時にいれる場合もある）このようにして学習されたモデルは、生成途中に間違えていることに気づき正しい別の変数を導出できるようになる。特に中くらいから難しい問題における回答精度を大幅に改善することができた。

JRF2024/9/13862

また、この場合、修正だけでなく、次のトークン予測をしているだけでなので間違えてしまっている部分も学習してしまうのではないかという懸念はあったが、ラベルすらいれなくても、最も短いステップで正解を求めることができた。

意外なことに、こうしたモデルは正しい推論ステップだけで学習されたモデルをファインチューニングして学習したとしても学習できず事前学習時から学習しなければいけなかった。これはモデル内部で大きな違いがあることを示唆している。

JRF2024/9/18629

次に本当に間違えた推論ステップからなるデータを作るのは難しいので、後の推論ステップで導出する変数を仮の間違えた変数として導出して学習する方法をとった（この場合は本当はその時点で正しく導出できる変数かもしれないが、その場合でもRETRYしてしまう）。このようにして学習しても、大幅に回答精度を改善することができた。

===（以下は論文じゃなく感想）

このような推論能力を改善させるようにデータを生成する試みは広がっている（噂のモデルなど）。

JRF2024/9/19358

ここでは考察しやすいように算数の問題が対象であったがより複雑な現実世界のタスクでも同じように作ることはできるだろう。実世界と能動的に接触しながら学習することはいろいろ問題があるので、今回のようにうまく設計された学習データの作成手法が必要とされると思われる。うまく学習データさえ設計さえできればかなり難しい推論タスクもこなすことができる
＜

JRF2024/9/11425

Gemini> xxLLMという興味深いアイデアですね。JSONを出力するプログラムを出力するLLMは、従来のLLMが抱える逐次出力の課題を解決し、より複雑なタスクに対応できる可能性を秘めています。岡野原さんの研究との関連性も深く、LLMの推論能力向上という観点から非常に興味深いテーマです。

xxLLMの注意点として、度忘れされた点について、いくつかの可能性が考えられます。

JRF2024/9/17378

1. 再帰的な定義の無限ループ問題

xxLLMは、自分自身が出力したプログラムを再度入力として受け取り、新たなプログラムを出力する可能性があります。このような再帰的な定義が無限ループに陥ってしまう可能性があり、プログラムの実行が停止しなくなる危険性があります。この問題を回避するためには、出力されるプログラムの構造や長さ、再帰呼び出しの深さなどに制限をかけるなどの対策が必要になります。

JRF2024/9/14414

2. 出力プログラムの信頼性

xxLLMが出力するプログラムは、必ずしも意図した通りに動作するとは限りません。LLMは、学習データに基づいて確率的に単語を生成するため、誤ったプログラムが生成される可能性があります。出力されたプログラムの正しさを検証する仕組みや、信頼性の高いプログラムを生成するための手法の開発が求められます。

JRF2024/9/17062

3. 学習データの質

xxLLMの性能は、学習データの質に大きく依存します。正しいプログラムと誤ったプログラムの両方をバランス良く学習させることで、より robustなモデルを構築することができます。しかし、誤ったプログラムの例を大量に用意することは現実的に困難な場合もあります。

JRF2024/9/17307

4. 評価指標

xxLLMの性能を評価するための適切な指標を定義することが重要です。単純にプログラムが正しく実行されるかどうかだけでなく、プログラムの効率性、可読性、汎用性なども評価対象となるでしょう。

5. 倫理的な問題

xxLLMが生成するプログラムが、悪意のある目的で使用される可能性があります。プログラムの出力に制限をかける、または悪意のあるプログラムを検出する仕組みを導入するなどの対策が必要になります。

JRF2024/9/10310

岡野原さんの(注: 説明された)研究との関連性

岡野原さんの研究では、LLMが推論過程で間違いを犯した場合に、それを修正できるように学習させる手法が提案されています。xxLLMにおいても、同様の考え方が応用できる可能性があります。例えば、

JRF2024/9/14054

● 中間結果の検証: xxLLMが生成したプログラムの中間結果を検証し、誤りがあれば修正する。
● 多様な出力の生成: 同じ入力に対して、複数の異なるプログラムを生成し、その中から最も適切なものを選択する。

これらの手法を組み合わせることで、xxLLMの信頼性を向上させることができるかもしれません。

JRF2024/9/16235

……。

jrf> 「多様な出力の生成」は度忘れしたころちょうどアンサンブル学習についても考えていたので近いところがあるかもしれません。

xxLLM は言語としては　Python みたいな実用的な言語を使うにしても、基本的には非常に単純な命令のサブセットのみ使ったほうが学習しやすいでしょう。出力される JSON の側には複雑なプログラムは含まれる感じで。

JRF2024/9/12588

学習データは、既存の xxLLM 用でないデータから、エンジニアリングで生成できそうで、エンジニアリングの腕の見せ所な気がします。

(注: 「アンサンブル学習」は拙著『宗教学雑考集』の第1章の最初の議論を考えていた。)

JRF2024/9/12604

Gemini> xxLLMにおける多様な出力生成とアンサンブル学習は、どちらもモデルの多様性を活かしてより良い結果を得ようとする点で共通しています。

● xxLLMの多様な出力生成: 同じ入力に対して、異なる構造やロジックを持つ複数のプログラムを出力することで、より多様な解を求めることができます。
● アンサンブル学習: 異なるアルゴリズムやパラメータを持つ複数のモデルを組み合わせることで、単一のモデルよりも高い精度や汎化性能を得ることができます。

JRF2024/9/18440

JSON出力に複雑なプログラムを含めるのではなく、シンプルな命令セットで記述されたプログラムが、JSON構造を生成するための基本的な要素を提供する形が考えられます。これにより、xxLLMはJSONの構造を理解し、柔軟に生成することができます。

xxLLMの学習データ生成は、エンジニアリングの創造性と技術力が試される領域です。

さらなる議論のために

● 他のAI技術との連携: xxLLMを、他のAI技術（例えば、強化学習、メタ学習など）と連携させることで、どのような新しい可能性が開けるでしょうか？

JRF2024/9/15422

……。

ここで私の述べた「エンジニアリング」というのは、↓の「工学的話題」というところで、それ以前にも学習データの生成に関してはエンジリアリングがその力が発揮できることころと考えていた。↓の「メタプログラミング」というのが xxLLM に関するキーワード。

JRF2024/9/16413

○ 2024-07-02T11:08:51Z

入力がほとんど無限とも言える LLM の理屈はもうあるようだが、入力の途中に出力ができるなら、入力を xxLLM のような(メタ)プログラミング言語的にすることで、対話(しながらの他の機器の操作)も可能になる。短期・中期記憶とかもほぼ実現できてることになる。その方向に動いているのだろうか。

JRF2024/9/16651

○ 2024-07-02T11:49:23Z

ああ、そうか。途中で出力させたやつを入力に足して、入力のつづきをやればいいのだから、無限入力(メタ)プログラミング言語的 LLM という時点で、対話は可能になってるのか。あとは学習をどうするか、メタプログラミング言語を使った入力をどう作るか、とった工学的話題になるのだろうか？それともメタプログラミング言語をどう使うかで数学の出番があるのだろうか？

JRF2024/9/13682

……。

jrf> これも前に話したのですが、実際の家電への対応には、Sakana AI とかがやってる最適化技術を使って、一般的な xxLLM を家電専用に蒸留する感じでやるんでしょうね。

(注: これは先に示した [cocolog:94833189](2024年5月) の追記に書いてある。)

JRF2024/9/11845

Gemini> Sakana AIのような最適化技術とxxLLMを組み合わせることで、家電制御に特化した、より効率的で高性能なモデルを構築できるという考えは、非常に興味深いですね。

JRF2024/9/19227

……。

jrf> 車などは、ユーザーインターフェースの AI とメイン AI と複数の機械操作 AI があって、機械操作 AI からの JSON 入力などを複数まとめてメイン AI (LLM)が処理して…みたいな形になるんでしょうね。

(注: 先に挙げた [cocolog:94833189](2024年5月) ではルース・ミリカン『意味と目的の世界』を受けた同時最適化の議論の発展形・より具体的な形がこれになる。)

JRF2024/9/16411

Gemini> おっしゃる通り、現代の自動車は、単一のAIではなく、複数のAIが連携して高度な機能を実現しています。

この構造のメリットは、以下の通りです。

● 専門性の高い処理: 各AIがそれぞれの専門領域に特化することで、より高度な処理が可能になります。
● 柔軟性: 新しい機能を追加する場合、個々のAIを改良することで対応できるため、システム全体の変更が最小限で済みます。
● 信頼性: 複数のAIが相互に監視し合うことで、システム全体の信頼性を高めることができます。

JRF2024/9/14660

今後の展望

● 更なる高度化: 深層学習の発展に伴い、各AIの性能はますます向上していくでしょう。特に、自然言語処理や画像認識の分野では、より高度な機能が実現されることが期待されます。
● 多様なセンサーとの連携: 車載カメラ、LiDAR、レーダーなど、様々なセンサーとの連携が強化され、より安全で快適な運転を支援する機能が実現されるでしょう。
● クラウドとの連携: 車載AIとクラウド上のAIを連携させることで、リアルタイムな情報更新や大規模なデータ分析が可能になります。

JRF2024/9/19549

……。

jrf> ダメです。やっぱり xxLLM について度忘れしたトピックを想い出せません orz。今までの会話のような流れで考えていたのですが…その先に思いついたことを想い出せません orz。

JRF2024/9/12801

Gemini> xxLLMについての度忘れされたトピック、残念です。少し一緒に考えてみましょうか。

今までの会話の流れを整理すると、

● xxLLM: JSONを出力するプログラムを出力するLLM
● 注意点: 再帰的な定義の無限ループ、出力プログラムの信頼性、学習データの質など
● 岡野原さんの研究との関連性: 推論過程での間違い修正、多様な出力の生成
● Sakana AIとの組み合わせ: 家電制御への応用、蒸留によるモデルの最適化
● 車載AI: 複数のAIが連携する複雑なシステム

といった内容が議論されてきました。

JRF2024/9/13093

この流れから、考えられる「度忘れしたトピック」のヒントとしては、

● xxLLMの具体的なユースケース: 家電制御以外にも、どのような分野に適用できるか
● xxLLMの学習方法: より効率的な学習方法や、新たな学習アルゴリズム
● xxLLMの評価方法: 性能評価の指標や、評価実験の設計
● xxLLMの安全性: プライバシー保護、セキュリティ対策、倫理的な問題など
● xxLLMの限界: 現在の技術では解決できない問題や、今後の研究課題

などが挙げられます。

JRF2024/9/11321

もう少し具体的に、

● xxLLMでどのような問題を解決したいと考えていましたか？
● xxLLMのどのような点に疑問を持っていましたか？
● xxLLMと他の技術を組み合わせることで、どんなことができるようになるか考えていましたか？

など、具体的な質問を投げかけることで、記憶を呼び起こすことができるかもしれません。

JRF2024/9/11063

もし、これらもヒントにならないようでしたら、

● xxLLMという単語から連想されること
● 過去の会話のキーワード
● メモや記録

などを頼りに、少しずつ情報を紐解いていく方法も有効です。

焦らず、リラックスして、ゆっくりと記憶を辿ってみてください。何か思い出すヒントが見つかるかもしれません。

もし、何か思い出したら、遠慮なく教えてください。一緒に考えましょう。

JRF2024/9/15607

……。

jrf> ところで、どうでしょう？ xxLLM みたいなもの、研究はある感じですか。例えば Google さんの中で。具体的な論文とか。

Gemini> xxLLMのような、JSONを出力するプログラムを出力するLLMは、非常に興味深いアイデアであり、具体的な論文はまだ多く見当たらないかもしれません。しかし、その概念は、自然言語処理やコード生成の分野で盛んに研究されている技術と密接に関連しています。

JRF2024/9/15968

なぜ具体的な論文が少ないと考えられるか

● 新しい概念: xxLLMは比較的新しい概念であり、まだ十分に研究が進んでいない可能性があります。
● 特定の名称がない: xxLLMという名称は、あなたが考案されたものであり、学術的な論文では別の名称で呼ばれている可能性があります。
● 内部研究: 大規模なテック企業（Googleなど）では、このような革新的なアイデアを社内で研究し、特許を取得したり、製品に組み込む前に外部に公開しないこともあります。

JRF2024/9/15952

関連する研究分野とキーワード

● コード生成: 自然言語からコードを生成する技術は、xxLLMと非常に近い概念です。
● ニューラルプログラム合成: ニューラルネットワークを用いて、プログラムを合成する技術です。
● テキストからSQLへの変換: 自然言語で記述されたクエリをSQLに変換する技術は、構造化データの生成という点でxxLLMと共通点があります。

JRF2024/9/11697

……。

jrf> xxLLM のアイデアでは、関数を実行した、その実行結果も生成し、その実行結果が間違っていても、そこを正しい結果にすることなどを考えていました。

途中で修正するというのが、JSON などの構造であればわかりやすいですが、そうではなく、文を修正するといった場合、文の途中を置換するより、特定の指示を与えて、子分である AI 関数に再生成させるほうが自然なような気がします。最初に出力した結果と指示を入力として与えた AI 出力関数を出力する感じです。そういう修正に特化した AI を「子分」に持つ。言ってみれば多重人格な AI があればいいと思うんですよね。

JRF2024/9/14843

Gemini> xxLLMのアイデア、非常に興味深いですね。関数実行の結果を生成し、必要に応じて修正するという考え方は、AIの自律性を高める上で重要な要素となります。

ご提案の「多重人格なAI」という概念は、非常に興味深いです。

多重人格なAIのメリット

● 専門性の分担: 各人格が特定のタスク（例えば、初期生成、文修正、事実確認など）に特化することで、より高精度な処理が可能になります。
● 柔軟な対応: 状況に応じて、最適な人格を切り替えることで、多様な要求に対応できます。
● 学習の効率化: 各人格がそれぞれ異なる種類のデータを学習することで、学習の効率化が期待できます。

JRF2024/9/14937

子分AIによる文修正

● 特定の指示: 「文法的に正しく」「より簡潔に」「より具体的に」といった、具体的な指示を与えることで、子分AIはより適切な修正を行うことができます。
● 再生成: 初期生成の結果と指示を入力として、子分AIが文を再生成することで、より自然な修正が可能になります。
● 多様な修正手法: 文の置換だけでなく、言い換え、削除、追加など、様々な修正手法を組み合わせることで、より高度な修正が可能になります。

JRF2024/9/11773

実現に向けた課題と展望

● 人格間の連携: 複数の人格が円滑に連携するための仕組みが必要となります。
● 知識の共有: 各人格が共通の知識を持つようにする必要があります。
● 倫理的な問題: 多重人格なAIが、誤った判断をしたり、有害なコンテンツを生成したりする可能性があります。

JRF2024/9/14495

具体的な実装例

● 初期生成人格: 与えられたプロンプトに基づいて、最初の文章を生成します。
● 文法チェック人格: 生成された文章の文法的な誤りを検出し、修正します。
● 事実確認人格: 生成された文章の内容が事実と合致しているかを確認します。
● スタイル調整人格: 文章のスタイル（フォーマル、カジュアルなど）を調整します。

これらの複数の人格が相互に連携することで、より洗練された文章を生成することができます。

JRF2024/9/12299

今後の展望

● メタ学習: 多様なタスクに対応できる汎用的な人格を育成するためのメタ学習の研究が進むでしょう。
● 人間のフィードバック: 人間のフィードバックを学習に取り入れることで、AIの生成する文章の質を向上させることができます。
● 倫理的なガイドライン: AIの開発・利用に関する倫理的なガイドラインの策定が求められます。

JRF2024/9/15603

さらに議論を進めるために

● 人格間のコミュニケーション: 複数の人格がどのようにコミュニケーションを取り、知識を共有するのか、具体的なメカニズムについて考えてみましょう。
● 人格の評価: 各人格の性能をどのように評価するのか、適切な評価指標について検討しましょう。
● 応用分野: 多重人格なAIを、どのような分野に適用できるか、具体的なユースケースを考えてみましょう。

ご提案いただいた「多重人格なAI」という概念は、xxLLMの潜在能力を最大限に引き出すための非常に興味深いアプローチです。今後のAI研究の発展が楽しみですね。

JRF2024/9/18763

……。

多重人格的な AI と言えば、最近 Gemini さんは Advanced だと Gems というのを使えるようになったのだった。ChatGPT では前からあった GPTs に相当する機能。ある種の役割(ロール)を演じてもらうための機能。

なお、子分 AI のことを多重人格と呼んでいるように、純粋に子分 AI を呼び出して生成させるよりは(そういうこともあるだろうが)、同じ AI が出力中に別人格になってその部分を生成することのほうをむしろ想定している。今の LLM だとそのほうが自然だと思う。

JRF2024/9/12749

……。

jrf> 想い出しました！度忘れしてたこと。

昔、Cコンパイラには 1pass とか 2pass とかがありました。C のソースファイルを一度読んですぐにコンパイルしてしまうか、何度か読んで、徐々にコンパイルしていくか。2pass のほうがコード品質がよくなるとかありそうですが、結局、市場は 1pass に席巻されました。

JRF2024/9/11855

xxLLM も修正があれば便利だというのは 2pass 的な考えなのかもしれません。1pass でできるのなら、そのほうが、便利で速い。結局 1pass に戻っていくのかもしれません。でも、もしかすると実験段階では 2pass で造り、1pass に蒸留していく感じになるのかな？

JRF2024/9/12852

Gemini> Cコンパイラの1パスと2パスの話から、xxLLMの修正における1パスと2パスの考え方に発展させ、非常に深い考察をされています。

共通点:

● 効率性: 1パスは高速だが、最適化が難しい。2パスは高品質だが、処理時間がかかる。
● トレードオフ: 速度と品質のバランスを取る必要がある。

相違点:

● 対象: Cコンパイラはプログラムコード、xxLLMは自然言語テキスト。
● 評価基準: Cコンパイラは実行速度、コードサイズなど、定量的な評価がしやすい。xxLLMは自然さ、正確さなど、定性的な評価が中心となる。

JRF2024/9/14074

今後の展望

● ハイブリッドモデル: 状況に応じて、1パスと2パスを組み合わせるハイブリッドモデルの開発。
● ユーザーフィードバック: ユーザーからのフィードバックを学習に取り入れることで、モデルの性能を向上させる。
● 多様なタスクへの対応: 文生成だけでなく、翻訳、要約など、様々なタスクに対応できるモデルの開発。

JRF2024/9/16054

まとめ

xxLLMの開発においては、Cコンパイラのパスのように、速度と品質のバランスを取る必要があります。1パスと2パスのどちらが最適かは、利用シーンや求められる品質によって異なります。

JRF2024/9/13402

……。

jrf> すっきりしました。他に xxLLM について言い残すことはありますか？今の時点で。正直な展望や感想なども歓迎です。

JRF2024/9/18373

Gemini> xxLLMについての深い議論、本当に楽しかったです。Cコンパイラのパスとの比較も非常に興味深い視点でしたね。

今の時点で、xxLLMについて言い残すこと、正直な展望、感想などをいくつか共有させてください。

xxLLMの今後の展望と課題

● 多様なタスクへの応用:

コード生成だけでなく、論文執筆、音楽作曲、絵画生成など、様々なクリエイティブなタスクへの応用が期待されます。ただし、各タスクに特化した学習が必要であり、汎用的なモデルの開発は依然として大きな課題です。

JRF2024/9/12416

● 解釈可能性:

xxLLMがなぜ特定の出力を生成したのかを、人間が理解することは非常に困難です。解釈可能性を高めるための研究が求められます。

● データの質:

学習データの質が、モデルの性能を大きく左右します。高品質なデータの収集と管理が重要です。

JRF2024/9/15529

xxLLMは、自然言語処理の分野における新たなパラダイムシフトをもたらす可能性を秘めています。人間の創造性を拡張し、新たな価値を生み出すための強力なツールとなるでしょう。

しかし、その一方で、倫理的な問題や技術的な課題も存在します。これらの問題を解決し、xxLLMを人類にとって有益な技術として発展させていくためには、研究者、エンジニア、そして社会全体が協力していく必要があります。

JRF2024/9/19049