cocolog:87181973

斎藤康毅『ゼロから作る Deep Learning』を読んだ。「深層学習」は、行列で高速に計算できること、層をモジュール化し学習に必要な勾配(gradient)を効率的に計算できることがキモのようだ。 (JRF 4219)

JRF 2017年4月 8日 (土) Tweet

『ゼロから作る Deep Learning - Python で学ぶディープラーニングの理論と実装』(斎藤 康毅 著, オライリー・ジャパン, 2016年)
https://www.amazon.co.jp/dp/4873117585
http://7net.omni7.jp/detail/1106704005

話題の人工知能(AI)・ディープラーニングの本、Amazon などで評判のいい本。

keyword: 人工知能

JRF2017/4/89982

例で使われているもののソースは↓から。

《GitHub - oreilly-japan/deep-learning-from-scratch: 「ゼロから作る Deep Learning」のリポジトリ》
https://github.com/oreilly-japan/deep-learning-from-scratch

JRF2017/4/80750

正誤表は↓から。

《errata - oreilly-japan/deep-learning-from-scratch Wiki - GitHub》
https://github.com/oreilly-japan/deep-learning-from-scratch/wiki/errata

JRF2017/4/87425

私は Python をいじったことがなかったのでそれは大黒学さんの↓の「Python 実習マニュアル」で学びつつ読んだ。

《無料チュートリアル：プログラミング》
http://tutorial.jp/prog/index.html

JRF2017/4/87999

……。

Deep Learning は、学習の過程を層をいくつも Deep に重ねることでなされる。その層には forward と backward の使い方がそれぞれあって、forward でニューラルネットワークの点火が、backward で学習で用いられる勾配(gradient)の導出が行われる。forward が計算されたあと、backward を計算することで効率的に勾配が求められる。そして、それらが行列計算で基本できるところから、並列化などの効率化ができる。

JRF2017/4/88384

ネットで誰かが「墾田永年私財法」に名前が似ていると言った「確率的勾配降下法(SGD)」は、勾配を用いて学習の最適化をする手法の一つで、もっとも基本的なものだった。

JRF2017/4/80334

この本で取り上げる例は、簡単な文字画像認識のみで、言語処理や自動操作(自動運転)みたいなものは軽く紹介がある程度。説明はわかりやすいが、これだけで Deep Learning がわかったと言って良いものか不安はある。

JRF2017/4/86439

……。

基本、説明はわかりやすくソースもあるので、詰まりようがないのだが、一点、なかなかわらかなかったところがあった。それは、p.114 などの TwoLayerNet の numerical_gradient メソッドの実装。loss_W = lambda W: self.loss(x, t) などとしているが、これって引数の W をどこにも利用してないじゃん…ってところで詰まった。

JRF2017/4/87503

最初、間違えているに違いないと思ったが、p.161 の勾配確認(gradient_check.py)をすると、ちゃんと合ってる。それでどうしてか虚心坦懐に考えてやっと、関数の numerical_gradient が引数の行列の数値を破壊的に書き換えているのを使っているのが理解できた。関数型などで局所性を高めるプログラミングに慣れた身には、あまりにも邪道な書き方に思うが、これが Python の流儀なのだろうか？

JRF2017/4/85202

……。

しかし、学んでみたところでこれを応用できるようなアプリケーションが書けるかと言われると難しい。言語処理や自動運転とかの話題は何をやっているのか全々わからないままなので、Deep Learning、恐るるに足らず…とは言えない。

いい本なのだろうが、私には役に立たない感じかな…といったところ。私がもう少し若くて、マシンパワーを買えるだけの金があれば…いや、そういう感じでもないな。私はやはり関心領域が違うように思った。

JRF2017/4/86969

[cocolog:86756868]
＞AI で人が働かなくても良くなるからベーシックインカム…みたいな議論も見るが、そもそも、ディープラーニングは、データウェアハウス、ビッグデータといったサーバ屋の煽り文句の一つで、3D や VR・AR が煽りのわりに消費者に響かないように、売り文句のわりには効果が普遍的でないもののように私は考えている。＜

JRF2017/4/82881

…このような認識をあらためるまでには致らなかった。結局のところ、私はそのすごさを理解できてないということだと思う。

JRF2017/4/80374