cocolog:95463688
雑誌『数理科学 2025年6月号 - 特集 物理学と特殊関数』と雑誌『数理科学 2024年10月号 - 特集 生成AIのしくみと数理』に目を通した。わからないところを読み飛ばしてばかりで、毎度のことながら、情けない。でも、後者は情報系なので少しわかった気になった。 (JRF 6911)
JRF 2025年5月27日 (火)
……。
○ 2025-05-24T17:45:13Z
雑誌『数理科学 2025年6月号 - 特集 物理学と特殊関数』に目を通した。岩見＆中岡＆岩波『ウイルス感染の数理モデルとシミュレーション』([cocolog:95369157](2025年4))でガンマ分布に絡んで、ガンマ関数が出てきて、それでこの雑誌に興味を持った。
『数理科学 2025年6月号 - 特集 情報と数理科学』(雑誌, サイエンス社, 2025年5月)
https://www.amazon.co.jp/dp/B0F62PPPG3
JRF2025/5/270681
今村洋介「ガンマ関数はいかに使われるか」では、ガンマ関数(Γ関数)とゼータ関数(ζ関数)のつながりや、sin とのつながりがわかって興味深かった。複素関数論とか完全に忘れていたが、Gemini さんに聞いてゼータ関数正則化などを知れて有意義だった。
JRF2025/5/273360
あと、拙著『宗教学雑考集』ゼノンのパラドクスに絡んで「くり込み」にも関心があったので、＞「計算途中では、関数の特殊性を何らかの方法で正則化しておけばよい」という実用的精神は、場の量子論の基本概念である「繰り込み」と通底する。＜(p.69)…という文にはハッとした。「繰り込み」ってそういう理解でもいいんだよな…って。
JRF2025/5/272582
が、それ以外はチンプンカンプン。物理学は難しいね。確率がらみだとまだ興味が持てるのだが、振動子とかシュレディンガー方程式とかが出てくると、もう私は知らなくていいかな…という気になってくる。ダメだね。読み飛ばすだけになった。
毎度のことながら、情けない。
JRF2025/5/270499
……。
……。
○ 2025-05-26T16:17:14Z
雑誌『数理科学 2024年10月号 - 特集 生成AIのしくみと数理』に目を通した。いつも手こずるこの雑誌だが、情報系ということもあり比較的わかりやすかった。まぁ、読み飛ばした部分はあいかわらず多いが orz。
『数理科学 2024年10月号 - 特集 生成AIのしくみと数理』(雑誌, サイエンス社, 2024年9月)
https://www.amazon.co.jp/dp/B0DFZ52N8H
JRF2025/5/277169
注意機構の式とか前の『数理科学』かな？…で見たことあった気もするけど、理解が進むね。
EBM(エネルギーベースモデル)の学習で MCMC法みたいな計算コストが高い方法が実際使われてるらしいのにちょっと感動した。(p.18)
AR(自己回帰)モデルの説明は、↓を思い出した。
以前 [cocolog:95231673](2025年1月) で書いたこと…
JRF2025/5/278318
＞＞
Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。…AI の今後のますますの発展を願って、最適化の拡張を妄想してみる。
最適化を拡張することを考えていたのだけど、一般的な最適化過程というのは、むしろ定常状態からはじまり、ある方向に傾けると、反作用的な力が生じると想定する。その辺で微分と反作用が何か一般的な機構としてありうる。
JRF2025/5/277740
そして、定常状態に戻らない場合、しかし、多くのものは定常状態的に戻る中で、戻らないことがある種の定常状態になる。これが、メタ的な・または外部接続的な微分と反作用概念になるのではないか？
GPT も次のトークンがないというのを定常状態からの欠落と見て、そこからどう反作用すれば「定常状態」に戻るか…という最適化過程なのではないか。ただ、この場合、文章を書き続けるためには、定常状態が常時変わっているか、定常状態から少しズレたところに着地し続ける…みたいなことが必要になるのかもしれないが。
JRF2025/5/278182
これを Gemini さんにぶつけると…。
Gemini:＞ GPTの学習過程は、生物の進化と類似点があります。
* 変異と選択: GPTのパラメータの調整は、生物の遺伝子の変異に相当し、生成された文章に対する評価は、自然選択に相当します。
* 適応: GPTは、与えられたデータに適応するように、パラメータを調整していきます。これは、生物が環境に適応していく過程に似ています。
＜
＜＜
JRF2025/5/275432
あと、これはある程度知っているから逆にハッキリすることだが、やはり、わかっていることが前提の記述は多いように思う。わかっている人が確認するために読むにはいいが、そうでない人がこの雑誌だけから学ぶのは不可能と思える部分は多い。まぁ、論文は一般にそういうものという側面があるので、論文よりはこの雑誌は簡単なのではあるのだろうけれども。
そういうわけで、いつものようにわからないところは読み飛ばした orz。
毎度のことながら、情けない。
JRF2025/5/272809
……。
……。
2024年10月号を読んでる途中、刺激されて AI がらみの様々な妄想をした。それもついでにここに書いておく。
まず、↓にそれぞれ追記した。その分はそちらをお読みいただきたい。
[cocolog:95459644](2025年5月)
＞AIコンセプト妄想。RLRMDiffusion … Reinforcement Learning Result Model Diffusion。LLM を使ったロボット制御で下部メカの「どう学習すればいいかのプログラム」をプロンプトとして制御のための行列的なものを生成する…。＜
JRF2025/5/275419
[cocolog:95459642](2025年5月)
＞AI の逆蒸留はできないだろうか？ 小さなモデルから大きなモデルを「蒸留」する…当然大きなモデルはその後の学習に備えて学習に適当なランダム性で膨らませて。これが可能な系列を逆にたどって小さなモデルを突き詰めていくとそれが「遺伝子」みたいになるというイメージ。＜
JRF2025/5/274662
……。
次に↓とツイートした。
＞
○ 2025-05-26T14:39:54Z
ユーザーサポートを AI にまかす場合、ハルシネーションで違ったことを説明するのが問題になる。だから知識基盤を AI とは別に持ち、AI はあくまで RAG 的にその知識基盤の情報を提示し、それに補足説明を加えることに限定すべきではないか？ もうされてるのか、もっと違う考え方があるのか…。
Gemini さんによると、まさにこの方向で実践されつつあるとのこと。
＜
JRF2025/5/273250
＞
○ 2025-05-26T14:57:21Z
そういうとき、誰に説明してもらうかが重要で、だからなじみの AI (chatbot) を指定できるのが良く、その上で、社内イントラへのアクセスを提供するような体制を準備する。そのようなときのインターフェイスが MCP って感じなんだろうか？ Gemini さんに聞くと私の誤解もありそうだが…。
＜
JRF2025/5/274499
……。
それを受けて↓の話題を連想し、ほぼ再録のエントリも書いておいた。
[cocolog:95463672](2025年5月)
＞新聞記事への記事のリンクをするとき、契約している新聞社以外だと読めないという問題がある。このとき、当該記事の内容に似た記事で自分が契約している新聞社のものを、ブラウザやアドオンなどが紹介してくれるとありがたい。埋め込みベクトルのデータベースで技術的にはもう可能なはずだが…。＜
JRF2025/5/277067
……。
……。
追記。
『数理科学』とはみじんも関係ないが…。
○ 2025-05-26T18:26:17Z
AI がポケモンをクリアするみたいに仕事をクリアさせたいというのが一般的な「エージェント」の発想なのだろう。ただ、これは以前から RPA とかでプログラム的に解決されようとしていて、それが先の新聞社横断リンクみたいにいろいろな事情でできなかった。それが AI だからって解決するわけではない。
JRF2025/5/279002
ただ、RPA プログラミングと違ってできる部分が増えてる面はある。まずプログラミング自体がかなり自動でできるようになっている。そして、(キャラクター認識とか) RL Result Model みたいなのを生成することでできる部分があったりするかもしれない。そして重要なことに、プログラムが動いている途中に、そのプログラムが元の AI を元の AI のコンテクストを保持したまま(GPTs や Gem を指定して?)呼び出して処理させたり新たなプログラムを組ませたりすることもできる…ということがある。これが狭義の「AI エージェント」なのかもしれない。
JRF2025/5/271856
(「グローバル共有メモ」または Twitter (X) で書いたことのコピペを中心に。)
JRF2025/5/276300