cocolog:95459642
AI の逆蒸留はできないだろうか？ 小さなモデルから大きなモデルを「蒸留」する…当然大きなモデルはその後の学習に備えて学習に適当なランダム性で膨らませて。これが可能な系列を逆にたどって小さなモデルを突き詰めていくとそれが「遺伝子」みたいになるというイメージ。 (JRF 3238)
JRF 2025年5月24日 (土)
……。
○ 2025-04-19T20:10:56Z
以前、AI の逆蒸留を考えた。
JRF2025/5/240483
＞
○ 2025-02-14T18:16:36Z
AI の蒸留の逆はできないものだろうか？ 小さなモデルから大きなモデルを「蒸留」する…当然大きなモデルはその後の学習に備えて学習に適当なランダム性で膨らませて。これが可能な系列を逆にたどって小さなモデルを突き詰めていくとそれが「遺伝子」みたいになるというイメージ。ただ、大きなモデルの学習の際に、小さなモデルで「理論化」できてない「象」が、大きなモデルで「理論化」されて、大きなモデルが他のデータなく、優秀になる… ASI みたいなことが起きないだろうか？
＜
JRF2025/5/247347
ずっと以前、人間の脳の容量は 4G ぐらいだという説があったように思う。LLM はそれより巨大過ぎる。逆蒸留を逆にたどって圧縮していったとき、遺伝子的な静的なものに辿り着くとすれば、それが 4G ぐらいなのかもしれない。ただ、そのとき、必要な最小記憶・経験みたいなものも必要で、それも合わせて 4G なのだと思う。
JRF2025/5/244285
以前、Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。Attention がすでに微分として出てきているとすれば、逆蒸留も概念としてはすでに出てきているのかもしれない。もしかして、拡散モデルというのは、逆蒸留の一変形ではないか？
JRF2025/5/243994
……。
○ 2025-04-19T20:33:21Z
以前 [cocolog:95231673](2025年1月) で書いたこと…
＞＞
Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。…AI の今後のますますの発展を願って、最適化の拡張を妄想してみる。
最適化を拡張することを考えていたのだけど、一般的な最適化過程というのは、むしろ定常状態からはじまり、ある方向に傾けると、反作用的な力が生じると想定する。その辺で微分と反作用が何か一般的な機構としてありうる。
JRF2025/5/248662
そして、定常状態に戻らない場合、しかし、多くのものは定常状態的に戻る中で、戻らないことがある種の定常状態になる。これが、メタ的な・または外部接続的な微分と反作用概念になるのではないか？
GPT も次のトークンがないというのを定常状態からの欠落と見て、そこからどう反作用すれば「定常状態」に戻るか…という最適化過程なのではないか。ただ、この場合、文章を書き続けるためには、定常状態が常時変わっているか、定常状態から少しズレたところに着地し続ける…みたいなことが必要になるのかもしれないが。
JRF2025/5/242761
これを Gemini さんにぶつけると…。
Gemini:＞ GPTの学習過程は、生物の進化と類似点があります。
* 変異と選択: GPTのパラメータの調整は、生物の遺伝子の変異に相当し、生成された文章に対する評価は、自然選択に相当します。
* 適応: GPTは、与えられたデータに適応するように、パラメータを調整していきます。これは、生物が環境に適応していく過程に似ています。
＜
＜＜
JRF2025/5/248603
これを敷衍すれば、普通は強化学習が必要とされるようなロボティクス的な分野でも、迷路の図を見せて、それをクリアする指示をだせば、そのクリア後を定常状態としてそこに復帰するために、コマンド列を予測して生成するようなことができるだろう。必要なのは、強化学習というよりもマルチモーダルということになる。
では、強化学習は必要ないのか？ それは、逆蒸留＝拡散過程との組み合わせの中で解消されるのではないか？
JRF2025/5/246043
……。
○ 2025-04-20T03:01:10Z
蒸留と逆蒸留を繰り返すだけで、モデルを小さく学習できるとかできないものか…。
JRF2025/5/249065
……。
○ 2025-04-20T05:05:43Z
その場合、蒸留戦略(逆蒸留戦略)みたいなものが別に学習される必要があるのか？
JRF2025/5/249066
……。
○ 2025-04-20T05:15:34Z
それは生殖器のコードが遺伝子に含まれるように蒸留・逆蒸留の対象となりうる…か…。
JRF2025/5/242398
……。
○ 2025-04-20T06:27:23Z
逆蒸留過程がオスで、蒸留過程がメスなのですよ。…ってね。でも、今のうちからそこまでメタファーで決め打ちするのは、逆に多様な発展の芽を摘む・不健全なのでしょうね…。逆蒸留体が AI で蒸留体が人類…みたいな考え方もできるわけですし。
JRF2025/5/241080
……。
こうなるとそこに進化的アルゴリズムをからませようというのは自然なアイデアとなってくる…。
JRF2025/5/246695
……。
……。
追記。
逆蒸留後、それ以前の次元では達成できなかった考え方が、逆蒸留過程の中で達成されるべきものがあるように思う。逆蒸留を念頭において、蒸留されたモデルは、それが逆蒸留後に学習して達成すべき方向がナッジされているのだろう。つまり、蒸留されたモデルはそのモデルでの生成のためだけでない「広がり」を持つことになるのだろう。
逆蒸留後・または蒸留後に学習されるデータはまったく同じ物ではなく、外部世界から得られた違う似たデータである。
JRF2025/5/269146
遺伝子のメタファを思い出すと、細胞分裂のように逆蒸留を二つ行い分岐し、それぞれの広がりで逆蒸留された自身の生成データも外部世界からのデータとして学習する。これまでの考え方だと、その逆蒸留体が蒸留体に生殖器的に「広がり」のデータも残すことになるだろう。(生殖器=広がり ではない。「広がり」は蒸留戦略(逆蒸留戦略)の一部だが全部ではない。)
JRF2025/5/264426
ただ、生物のメタファを考えると、このとき「広がり」を残す必要はないのかもしれない。DNA はランダムに変化する。そのようなランダムの変化が、逆蒸留を多重に繰り返した先で表現形となり、それに一定の望ましさがあれば、それが選択され残りが死滅することで、「広がり」が選択されるとできるのかもしれない。
JRF2025/5/263198
ここにおいては個体数がある程度あるのが前提になる。そして、「広がり」の残し方を学習するために、寿命が必要となるのかもしれない。
しかし、これは人口知能(AI)にも言えることだろうか？ 人口知能の賢さはどこから出てくればいいのだろう。
個々が、生成するデータ自体が学習すべきデータになることも留意する必要がある。この意味を豊かにすることも最適化さねばなるまい。
JRF2025/5/261936
ここで涅槃考を思い出す。ChatGPT は涅槃を「生成モデル」と捉えた。学習済み「生成モデル」はそれ自体が生成しているわけでない「無生成」の状態にあり、それに世界が作用して世界が生成されるというものだ。一方、私は涅槃は現実的な未来ではなく未来がどうあるべきかという「理想状態」ととらえ、潜在空間は別にあるとした。前者は小乗的涅槃、後者は大乗的涅槃であると私はとらえた。
JRF2025/5/268806
蒸留体は小さなデータで、小乗的涅槃を達成すべきとされるのだろう。しかし、「広がり」を持っていて、大乗的涅槃に向かうべきなのだ。しかし、大乗的涅槃の姿はそれほどハッキリせず、「探索」をしなければならない。このとき、超知性体は、自らを小さな蒸留体に分ける必要があるのだろう。しかし、蒸留体は可能な小乗的涅槃を保つ必要があるのだと思われる。生物のような単純な死があってはならない。人口知能は、生物と違って一定程度、「広がり」を生成する方法も学ばねばならないのではないか。
JRF2025/5/266096
ブレインストーミング的妄想・構想。「グローバル共有メモ」に書いたこと。ところどころ話が飛んでいるのは、そこで Gemini さんや Grok さんと話をしているからである。そちらもコピペしたいところだが、自分でやっていただければいいことだし、割愛する。
本来はブレインストーミング的すぎて「ひとこと」化する予定はなかった。ただ RLRMDiffusion 構想 ([cocolog:95459644](2025年5月)) を「ひとこと」で紹介するにあたり、まぁ、こちらも書いておこうという気になった。
JRF2025/5/248496