cocolog:95499368

ロボット制御に向けて LLM を自動運転に応用することを考える。現在環境などを文字列化などで入力して、それに LLM が答えて指令を生成する…となるのだろう。その際「常識」外の装置の特性などを「学習」させるにはどうすればいいのか。AI さん達に話を聞いた。 (JRF 2418)

JRF 2025年6月17日 (火) Tweet

ロボット制御に向けて LLM を自動運転に応用することを、ブレインストーミングぎみに「調査」した。おそらく AI 企業が隠している技術や、世界自体がまだ見過ごしている技術があるのだろうが、おおよその現状はこうではないかということを調べた。

AI さん達 = Gemini 2.5 Flash さん、ChatGPT 4o さん、Claude Sonnet 4 さん、Grok 3 さんに話をうかがった。

「グローバル共有メモ」と Twitter (X) で書いたことのコピペを中心に。

JRF2025/6/176797

……。

○ 2025-06-16T16:01:30Z

LLM を自動運転に応用することを考えます。すると、現在のスピードやビジョンなどの環境などを文字列化またはマルチーモーダルで入力して、それに LLM が答えて指令を生成する…となるのだと思います。ただ、そこで使われるのは LLM の「常識」になるわけです。そうではなく、この LLM にその装置の特性などを「学習」させるにはどうすればいいのでしょう？

JRF2025/6/173333

GPTs や Gem のような「プレプロンプト」への条件の追加などを行うのでしょうか？ しかし、その条件をどう生成(?)すればいいのでしょう？ 「プレプロンプト」ではなく Gemini などが最近備えている、短期記憶なようなものも使えるかもしれませんね。ファインチューニングは以前は有力視されていましたが、基盤モデルが固定される最近はあまり聞きませんね。いかがでしょう？

このように AI さん達に聞くと、私が挙げたほかに RAG も重要だとそろって指摘された。その状況または車種などから(学習済みの)外部のデータを参照するということだろう。

JRF2025/6/174019

あと、Gemini さんに Deep Research してもらったレポートによると知識グラフ(KG)が重要ということだった。知識グラフがおそらく「プレプロンプト」として使われ、それが「プレプロンプト」の学習的生成手法として、注目されているということだろう。

JRF2025/6/179494

……。

「知識グラフ」というと、私はかつてグラフ理論に興味を持っていた。大学生のサークルの会誌に「平面グラフのランダム作成」みたいなのを脳のシワが平面を構成することをヒントに AI につながるアイデアとして考えていたことを思い出す。そのころは「四色問題」が解けたかどうかという時代で、平面グラフが熱かった。

JRF2025/6/172413

……。

○ 2025-06-16T17:14:45Z

ところで、私はかつて平面グラフに関心を持っていました。知識グラフを平面グラフにすることに意味はあるでしょうか？ たとえば、知識グラフを地図として使えるので、既存技術が応用できるとか、運転特化 LLM が理解しやすいとか。…と AI さん達に聞いたところ…。

JRF2025/6/176011

Grok さんに聞くと、「平面グラフは辺の数がノード数に対して線形（最大3n-6、nはノード数）に制限されるため、計算複雑度が低い。これにより、KGが大規模でも効率的に検索・処理が可能。ただし、LLMが平面グラフを直接理解するより、抽出した情報をプレプロンプトやRAGの形で提供する方が効率的。平面グラフの利点は、LLMより前段階（データ準備や検索）で発揮される。」

JRF2025/6/175093

ChatGPT さんに聞くと、「知識グラフを平面グラフとして表現（SVG/JSON形式など）し、それを LLMに与えることで、より「空間的なストーリー」「因果的構造」を正しく認識させる、という研究が進みつつあります。特にマルチモーダル LLM（画像＋テキストを扱えるモデル）とは相性が抜群です。」

とのこと。あと GNN (グラフニューラルネットワーク) についても話題となった。

JRF2025/6/174577

……。

○ 2025-06-16T17:46:29Z

平面グラフが役に立つといえば、回路。物理的実体があるから二次元に特に意味があるようになる。それを考えると、知識グラフをローカル情報として物理空間に配置していく…みたいなことには役立てられるのかも。でも、無線通信の世の中でその必要性がどこまであるか疑問だが。基本的には道路標識の話で、AI 用の「道路標識」がいるか…といった話になるのかも。

JRF2025/6/172059

……。

○ 2025-06-16T18:15:34Z

AI 用道路標識。一時的な暗証番号を近距離通信して、税務に役立てる…とかはできるか。「道路料金」の効率的配置に知識グラフ構成を役立てるみたいな？

JRF2025/6/171011

……。

この辺りは「地域関税」的な話を想定して書いている。

ロボット農業がメインになると企業がますます有利なり、地域関税など領域への侵入を規制または移動の自由を(国が)制限し、荘園化が起こるのではないかという論を、[cocolog:94895713](2024年6月)や[cocolog:94390443](2023年9月)などで私は行っている。消費税の細かい設定で能登や福島を優遇するみたいな使い方も想定していた。

JRF2025/6/178705

……。

○ 2025-06-16T18:38:19Z

内部KGの他に外部KGができるということであろう。知識グラフ(KG)はまず内部KGとして発達し、AI が KG を良く解するようになると、RAG や近距離通信で KG の形式で外部から知識が注入されるようになるのだろう。SVG を解する AI の射程はパワポ(ポンチ絵)とかよりこの知識グラフの理解にあるのかもしれない。

JRF2025/6/178739

……。

○ 2025-06-16T19:16:41Z

なぜ知識グラフ(KG)なのか？ 成長させる知識という点では Canvas に文章でもいいわけだ。しかし、文章だと成長や変化がとらえにくく、グラフだと機械的にそれを判定しやすいため、学習などをさせやすいということのようだ。

Claude さんによると「知識の「成長」を機械が監視・促進できるというのは、AIの自律的学習能力の向上に直結する重要な洞察だと思います。」ということで、知識グラフにすることで、運転に限らず一般に AI の学習の評価がしやすくなるという面があるようだ。もちろん、人に表すときは KG を文章にするとしても。

JRF2025/6/178540

……。

○ 2025-06-16T21:25:35Z

Gemini さんと ChatGPT さんに聞くと、「短期記憶」はニューラルネット的なものではないようだ。すると、知識グラフも含め論理的にしか学習できない、ロボットの動作のようなものをニューラルネット的に学習はできないということになる。だからこそ報酬関数などの戦略的記述から RLRMDiffusion ([cocolog:95459644](2025年5月))のようなことができれば有望だ…ということのようだ。

JRF2025/6/175119

……。

参↓。

[cocolog:95459644](2025年5月)
＞AIコンセプト妄想。RLRMDiffusion … Reinforcement Learning Result Model Diffusion。LLM を使ったロボット制御で下部メカの「どう学習すればいいかのプログラム」をプロンプトとして制御のための行列的なものを生成する…。

JRF2025/6/172229

(…)

もちろん、RLRMDiffusion と DiffusionTransformer は違うのだが、RLRMDiffusion に似たところを目指して現状の技術で現実的なところを探るとああなった…というのが私の解釈。

(…)

RLRMDiffusion。やるとしたら、フルにモデルを生成するのではなく、制御レイヤーの層の一部を生成する LoRA みたいなものが必要だろうと思っていた。そこに Sakana AI が Text-To-LoRA というイメージ生成についての「メタ」的な技術を発表した。この方向が今後来るように思う。
＜

JRF2025/6/175503

……。

○ 2025-06-16T22:19:58Z

「短期記憶」が LLM への LoRA のようなものへの変換として実現できるなら、ニューラルネット的学習も可能になるのかもしれないけど…。 ただ、LLM への LoRA 自体がかなり難しい…。i2i みたいに LoRA2LoRA すれば「短期記憶」の更新もできる…とか夢は広がるのだが。

JRF2025/6/179256

……。

LoRA2LoRA は「逆蒸留」妄想につながる。

[cocolog:95459642](2025年5月)
＞AI の逆蒸留はできないだろうか？ 小さなモデルから大きなモデルを「蒸留」する…当然大きなモデルはその後の学習に備えて学習に適当なランダム性で膨らませて。これが可能な系列を逆にたどって小さなモデルを突き詰めていくとそれが「遺伝子」みたいになるというイメージ。＜

JRF2025/6/176396

[cocolog:95459644](2025年5月)
＞RLRMDiffusion と 逆蒸留 はつながるのかもしれないなぁ…。RLRMDiffusion から RL が取れてなんでも Result Model を Diffusion 的に得られるようにするという方向がありうる(RMD)。そして、Result Model は可塑的にいくらでも大きくなり得て、RMD は自分より大きなモデルを精度低いかもしれないが生成できるとする。

JRF2025/6/173130

そして、i2i 的に Result Model を入れて、その大きなモデルを RMD で作ると逆蒸留になってる。…みたいな。蒸留体／逆蒸留体が「遺伝子」のイメージ… DNA のイメージとすると、RMD は RNA のイメージになるのかな？

もちろんその先には ASI を考えるわけだが。
＜

JRF2025/6/170534

……。

○ 2025-06-16T22:54:03Z

LoRA というとどこかの層に挟む…という話だったけど、そうではなく、何か非常に意味があって変化する多様体(ニューラルネット的基盤モデル? LoRA2LoRA みたいなことがしやすいもの)を含むように LLM を構成し、その多様体の変化に応じるように LLM を学習しておく…という方向はないのか？ 生きている遺伝子から表現型を得るみたいなイメージ。…Gemini さんや ChatGPT さんによると「非常に先進的な考え」…ということは現状ではほぼ見込みがないということだろう orz。

JRF2025/6/177462

……。

○ 2025-06-17T03:28:06Z

人間の脳は短期記憶もニューラルネット的であるはずだから、何か方法があるように期待するのだが…。AI さん達は割と最近のことを知ってるが、そのことについて聞くと、RAG もあるが、基本的には基盤モデルの再学習によるらしい。ホントかなぁ？

JRF2025/6/172808

……。

○ 2025-06-17T03:45:17Z

この点、RAG なんだけど Web 検索はせず、ローカルとかにある知識をそれということなく RAG してる…というなら、まぁ、説明はできてるのかな…と思う。詐欺られてる気がかなりするが。

JRF2025/6/178077

……。

○ 2025-06-17T08:55:53Z

Claude さんに聞くと「短期記憶」の実装として、ありうるものとして Prefix-tuning、アイデアレベルとして「動的埋め込み更新」と「軽量ファインチューニング」を挙げられた。

Prefix-tuning は、「トランプ大統領」と覚えるのではなく「2026年の最新情報」+「アメリカの大統領」みたいな形で抽象的に覚えておき、生成時にそれを「トランプ大統領」みたいにするというもの。

JRF2025/6/171514

動的埋め込み更新は、まったく新しい単語のみ、その部分のみ学習するという感じ。軽量ファインチューニングは、初期の ChatGPT はそういえばファインチューニングのサービスを提供してたが、あんな感じなのだろう。

JRF2025/6/178213

……。

実際、短期記憶に、ニューラルネット的な学習がどこまで重要なのかという問題もある。短期記憶の機能の目的が、記憶の保持にあるとするなら、コンピュータは「完全な記憶」を短期と言わず長期にも保持できるメモリがある。これは現在ではかなり大規模にできる。それ以外に動きなどが重要なのだ…というなら、普通は、知識グラフでも良いわけだ。

JRF2025/6/171367

いくつかの協調された微妙な動きを学習する必要がある…ロボットなどはそうであるわけだが、高度指令層と低次指令層が分離でき、どちらかのみ(または両方を(別に)) RLRMDiffusion などでコントロールする…みたいな未来を夢見るところである。それができるならニューラルネット的短期記憶は LLM にはほぼ必要ないとなるのだろう。

JRF2025/6/174040

ただ、人間や生物の効率的なニューラルネットがどうなっているのかという探求は必要で、なぜそれを LLM がマネることができたのか…そこから逆に生物の効率的なニューラルネットワークにどう接近するか…それは AI (AGI・ASI)が解くべき課題なのかもしれない。Gemini Diffusion とか、LLM 「ではない」方式がヒントとなっていくのかもしれない。

JRF2025/6/171061

……。

追記。

「短期記憶」の方式について、一つだけ補足。RAG を過去の「対話」にも適用する…という方向がありえる。

JRF2025/6/186844

……。

追記。

上で「知識グラフがおそらく「プレプロンプト」として使われ、それが「プレプロンプト」の学習的生成手法として、注目されている」と書いた部分。ここには私の「熊剣迷路問題」の経験がある。

JRF2025/6/181858

[cocolog:94293132](2023年7月)
＞「熊剣迷路問題」。Google Bard で簡単な迷路ゲームを教師付きで無理やりクリアさせてみた。なんとかコストの高いファインチューンや追加学習を避けて「few-shot learning」だけで迷路を解くプログラムが作れないか？…とはじめたができなくて、目標を変更した。＜

JRF2025/6/189889

そこでは当初、「方針」と「追加知識」というのを用意し、これらを Bard さんが自分で「成長」させ更新していくという戦略を立てた。しかし、これがまったく機能しなかった。何を覚えておけばよいかということを考えさせることはできなかったのだ。

これがたぶん、制約の少なさに起因しているというのも私の考えの一部だった。だから知識グラフ(KG)のような「制約のある」方式にすれば、AI さんも何を覚えるかを提案しやすくなるのでは…と考えたのだ。

JRF2025/6/185328

現在、AI さん達にポケモンを遊ばせるのが流行っているが、そこでは KG が使われているのだろうか？

JRF2025/6/186764

……。

ただし、KG。運転やちょっとしたゲームなどの状況を整理するには良いと思うが、状況に時間的流れがある普通の文章に適用しようとすると、複雑になりすぎる問題があると思う。そのような場合、基本的には登場人物の関係を覚えるといった、補助知識にのみ有効に使えるだけではないか。運転やゲームなど全面的に使って有効な場面もあるだろうけど。

JRF2025/6/187266