« 前のひとこと | トップページ | 次のひとこと »

cocolog:90214777

Python を使った最適化の本と人工知能(AI)の本を読んだが、身につかなかった。私が普段使うマシンでは例の実行にすごく時間がかかることもあって、例を確かめなかった。本気でやるなら GPU (グラボ) を買うべきか。 (JRF 6324)

JRF 2018年11月 5日 (月)

最適化の本は↓。

『Pythonによる数理最適化入門』(並木 誠 著, 久保 幹雄 監修, 朝倉出版, 2018年)
https://www.amazon.co.jp/dp/4254128959
https://7net.omni7.jp/detail/1106873178

JRF2018/11/51308

最適化を Python で使う方法がメインで、証明等はほとんど省かれている。非線形最適化も載っているが、メインは線形最適化で、それを応用してビンパッキング問題やグラフ最適化を問いている。

JRF2018/11/58087

線形最適化については、よく知られるクラス編成問題の他に、意思決定科学で DEA(包絡分析法) で DMU を使ったりする…とかいう紹介が興味深かった。が、大きくスペースを割いているグラフ最適化については応用が示されることもなく、むしろ、グラフ最適化が応用だというスタンスなのだろうが、それが残念と言えば残念だった。その辺は他の本をあたるべきなのだろう。

グラフ理論について、私にはずっと前から気にしていることがある。

JRF2018/11/57663

はてなブックマーク - 《全脳アーキテクチャの見取り図》
https://staff.aist.go.jp/y-ichisugi/brain-archi/wba-sketch.html
jrf:>シンクロニシティ面→平面グラフと乱数発生器。→同期と臨界→繰込?()。→ロールシャッハテストに会誌が成立・早九字。http://d.hatena.ne.jp/popeetheclown/20100604/1275670795。>(配列解読機)」が日常的に稼働<。人間機械論。< 2014/04/05

JRF2018/11/53068

これは、統合失調症の発作のときにかなり近いときのブクマだが、平面グラフが人工知能に関係しているという直感が私にはあった。人間の脳はしわくちゃで、その表面が平面を割けるようにあるという観察からほぼこういう直感がきている。

JRF2018/11/54573

ただ、その若いころに得た直感を、その後、活かすことはできず、狂ったときに外部にもらしてしまった。これで混乱した人がもしいたとしたら、とても申し訳ないと思う。

今は、並列実行の Lock 状態を数え上げる ELDE (↓) を考えるときに、すべてを数え上げるということから、グラフの最適化と同じように最適化の議論ができないか?…とか考えて上の本を読んだりしていたのだが、特に得るところはなかった。残念。

JRF2018/11/55320

《Exhaustive Lock Dependency Emulator その3 修正とチェック》
http://jrf.cocolog-nifty.com/software/2018/04/post-1.html

JRF2018/11/53900

なお、Python の例の実行はしなかった。私のマシンでは計算に時間がかかるだろうし、Anaconda 環境で pip を使うのをためらった面もある。

JRF2018/11/50341

……。

……。

人工知能の本は↓。

『ゼロから作る Deep Learning (2) 自然言語処理編』(斎藤 康毅 著, オライリー・ジャパン, 2018年)
https://www.amazon.co.jp/dp/4873118360
https://7net.omni7.jp/detail/1106904165

JRF2018/11/56007

なんとカラーでビックリ。1巻を [cocolog:87181973] で読んで、その続きということで自然言語処理にはあまり関心はないが買ってみた。

JRF2018/11/55778

自然言語処理はシーケンスを扱う。ものを操作するのを覚えるというのはシーケンスを覚えることなので、その辺に関心がある私はその応用に期待していたが、それはむしろ強化学習とかの話になるのかもしれない。Deep Learning と強化学習を合わせるとかあるらしいがその辺の話は、この本にはなかった。それはまた別の本を読みたい。

JRF2018/11/57828

この本では、まず、「単語の意味は、周囲の単語によって形成される」という分布仮説に基づいた単語のベクトル表現を求め、ゼロがいっぱいの行列を次元削減してまともなベクトルを計算するという話から、そのかわりに機械学習でベクトル表現を求めてしまう…という話にもっていく。

JRF2018/11/51028

その副産物として、周囲の単語を予想できるようになるのだが、これは短いコンテクストしか理解しないので、もっと長い文脈…その単語位置までの単語全部を「記憶」しておいて予想するような話に持っていく。それが RNN (Recurrent Neural Network)。

さらに RNN を改善する LSTM (Long Short-Term Memory) を説明し、それで文章生成や「翻訳」をするアイデアを示し実装する。そして、それをよりよくする汎用的な Attention の説明をして、この本は終わる。

JRF2018/11/54607

基本、よくわからない文があってもソースを読めばわかるようになっている。重み共有(p.266)とか、一つの重みを二ヶ所で使ってどうやって最適化するのだろうと思ったら、ソースを見ると、単純にそれぞれの勾配を引くだけだった…とか。

Attention は、内積だけというのが意外だが、重みを使って学習するところは、入力の前にあるということなんだろうね。そこはわかりにくかった。

JRF2018/11/55422

基本、これも Python の例を実行していない。試しに ch02/count_method_big.py を実行して PPMI を求めるところでむちゃくちゃ時間がかかったところであとは察した。ソースはわりと読んだが、ちゃんと理解できているか自信はない。

これを何かに応用できるぐらい理解したか、身に付いたか、と問われると、否と答えるしかない。情けない。

JRF2018/11/55645

本気でやるなら、GPU (グラボ) を買うべきなんだろうね。私の普段使いのマシンは拡張できないが、父から譲り受けた PC なら(ロープロファイルだが)拡張できそうで、ちょっと欲しい気はするけど、たぶんほとんど使わないだろうし、もったいないかな…。

JRF2018/11/50683

……。

……。

今回は、そういうわけでアイデアがわくわけでもなく、ちゃんと読めた感じもなく、言及するのをやめようかと思ったぐらいなのだが、私の備忘のために「ひとこと」しておくことにした。これらの本の評を求めてこのサイトに来た方には役立たずの情報ばかりで申し訳ない。中年を過ぎて頭が固くなったもともと頭が悪い者もこういう本を読むことがあり、その例を身をもって示したということで、ゆるして欲しい。

JRF2018/11/57998

typo 「問いている。」→「解いている。」。

……。

あと、最適化の本を読んだのは、micro_economy_*.py ([cocolog:89931312], [cocolog:89067097]) で非線形最適化を使ったからだが、上に書いたようにその辺の話はほとんどなかった。

JRF2018/11/50043

« 前のひとこと | トップページ | 次のひとこと »

トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/93568/67350929

トラックバックのポリシー

他サイトなどからこの記事に自薦された関連記事(トラックバック)はまだありません。

このころのニュース