cocolog:94801093
坂本俊之『作ってわかる! アンサンブル学習アルゴリズム入門』を読んだ。ソースを読めれば、わかりやすい本だと思う。出版が生成 AI 流行前なので、LLM などでもアンサンブル学習的な要素があるようで、そこが知りたいと思うのにそこに続く道は見えなかった。 (JRF 7850)
JRF 2024年4月20日 (土)
なお、AI の本は直近では他に、斎藤康毅『ゼロから作るDeep Learning 5 - 生成モデル編』を読んでいる([cocolog:94787819])。
JRF2024/4/206344
……。
○ 2024-04-19T16:49:58Z
坂本俊之『作ってわかる! アンサンブル学習アルゴリズム入門』を読んだ。ソースを読めれば、わかりやすい本だと思う。ただ、9章ではかなり複雑なこともやる。
拙著『宗教学雑考集』でアンサンブル学習に言及しているのに、まともに本を読んでいないのが気になっていた。そこでこれを買って読んだ次第。
JRF2024/4/207477
AI 学習はこのところ進歩が急速で、出版が生成 AI 流行前の 2019年だと情報が古いということになるのかもしれないが、LLM などでもアンサンブル学習的な要素があるよう(例: ↓)だが、そこが知りたいと思うのにそこに続く道が見えなかった。まぁ、しかたない。
JRF2024/4/207126
《erukiti:X:2024-04-15》
https://twitter.com/erukiti/status/1779665800527569091
＞
arxiv.org/abs/2402.05120
More Agents Is All You Need面白いな
JRF2024/4/202378
一つのLLMに同一のプロンプトを複数回投げる。temperatureを上げるなりして回答に揺らぎが生じる。それらを機械的に判定する（選択問題なら頻出する。オープン記述なら他と共通項が多い）
これだけでモデルの性能が上がるらしい
＜
JRF2024/4/200356
内容的には、ブースティングがいまいちよくわからなかった。特に勾配ブースティング(p.200 あたり)が、なぜ、差分を学習していて、それを重みありで足せばいいのかというが、いまいち私にはわからなかった。その都度改善されたパラメータで学習するではダメなのか？…ブースティングがアンサンブルとして有効な理由は何か？…みたいなものがわからなかった。
JRF2024/4/200993
Amazon 評にもあるが、ソースに誤植があるようだ。しょっぱな(p.40)の support.py からして、prob_to_clz の pred は prob の間違いだと私は思う…。↓の正誤表にあるね。あと、agerage (p.149)も私は見つけられたが、それ以外もいろいろあるのか。
JRF2024/4/201353
《坂本俊之『作ってわかる! アンサンブル学習アルゴリズム入門』の誤植情報を集める #Python - Qiita》
https://qiita.com/hoxo_m/items/82f6fa2fd2cbae4bdfdb
http://webcache.googleusercontent.com/search?&q=cache%3Ahttps%3A%2F%2Fqiita.com%2Fhoxo_m%2Fitems%2F82f6fa2fd2cbae4bdfdb
JRF2024/4/204742
『作ってわかる! アンサンブル学習アルゴリズム入門』(坂本 俊之 著, シーアンドアール研究所, 2019年5月)
https://www.c-r.com/book/detail/1316
https://www.amazon.co.jp/dp/4863542801
https://7net.omni7.jp/detail/1106992937
JRF2024/4/201429