cocolog:95231673
Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。…AI の今後のますますの発展を願って、最適化の拡張を妄想してみる。 (JRF 5839)
JRF 2025年1月12日 (日)
……。
○ 2025-01-08T17:13:27Z
最適化はもっと何かこう違うことができるのではないかと思う。AI の学習や進化的アルゴリズムも最適化してるわけだが、ある式を最適化するというとき、その式を固定する力が本来あって、その引き締める力も最適化の方向だといえ、その力は無限性や独立性がある…といったようにも思える。
多目的最適化に和や最大値を使うのは何か違う…。拙著『「シミュレーション仏教」の試み』や『宗教学雑考集』を通じて、システムや主体がどんどん切り換わる最適化というのを考えたが定式化できなかった。そこには無限性や独立性や並列性を加味する必要があると感じたのだった。
JRF2025/1/120095
AI の学習や進化的アルゴリズムは、最適化を「使っている」ことになっているが、しかし、「システムや主体がどんどん切り換わる最適化」を内に含んでいるという点で、実は(数理)最適化を超える「最適化」の例でもあるのではないか?
JRF2025/1/128723
……。
○ 2025-01-08T18:33:09Z
AI 学習の最適化の数式が、それがあってはじめて最適化が可能になるものであったとしても、それは上位の(多層の)「最適化」の一面がたまたま数式でも表せたということではないかと感じる。そういう一面があるのは、ちょうど生物の「最適化」の中に「私」という一面がたまたま成立しているのに似ているのかもしれない。
JRF2025/1/129528
……。
資本主義的発展という「最適化」を今の理論のまま行うのは危ういように思う。ただ、AI 学習や進化的アルゴリズムという「最適化」は、和や最大値による多目的最適化と本質的に違うもの(並列性など?)を含んでいる可能性はあり、光は見える。
JRF2025/1/120744
……。
ここからは今回の新しい分。
JRF2025/1/124332
……。
○ 2025-01-10T03:08:18Z
Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。
最適化を拡張することを考えていたのだけど、一般的な最適化過程というのは、むしろ定常状態からはじまり、ある方向に傾けると、反作用的な力が生じると想定する。その辺で微分と反作用が何か一般的な機構としてありうる。
JRF2025/1/121578
そして、定常状態に戻らない場合、しかし、多くのものは定常状態的に戻る中で、戻らないことがある種の定常状態になる。これが、メタ的な・または外部接続的な微分と反作用概念になるのではないか?
外部接続ということだと、↓の二つの記事を思い出す。
JRF2025/1/126666
《Haskell の callCC で goto を作る - JRF のソフトウェア Tips》
http://jrf.cocolog-nifty.com/software/2011/01/post-2.html
《Exhaustive Lock Dependency Emulator その1 並列処理の総当り - JRF のソフトウェア Tips》
http://jrf.cocolog-nifty.com/software/2011/06/post-1.html
JRF2025/1/127207
前者は擬似的な「並列」機構であるクライアント・サーバーを callCC による goto 相当を使って実装したとき、サーバーが外部に接続するということが不思議に記述できるのが問題だった。後者は虚実行という概念が出てきたのだった。ただ、最適化にそれをどうつなげればいいのかはまだぜんぜんわからない。
JRF2025/1/123564
……。
○ 2025-01-10T05:36:01Z
GPT も次のトークンがないというのを定常状態からの欠落と見て、そこからどう反作用すれば「定常状態」に戻るか…という最適化過程なのではないか。ただ、この場合、文章を書き続けるためには、定常状態が常時変わっているか、定常状態から少しズレたところに着地し続ける…みたいなことが必要になるのかもしれないが。
JRF2025/1/126575
これを Gemini さんにぶつけると…
Gemini> GPTの学習過程は、生物の進化と類似点があります。
* 変異と選択: GPTのパラメータの調整は、生物の遺伝子の変異に相当し、生成された文章に対する評価は、自然選択に相当します。
* 適応: GPTは、与えられたデータに適応するように、パラメータを調整していきます。これは、生物が環境に適応していく過程に似ています。
JRF2025/1/129937
(「グローバル共有メモ」や Twitter (X) で書いたことのコピペを中心に。)
[cocolog:95227325](2025年1月) で書いたことをまず繰り返す。
JRF2025/1/129129