カテゴリ:本・映画など( 292 )

いろいろと試しています。
まずネットの構造は大体決まって、

3層の畳み込み層と2層の全結合層(出力層含め)。
畳み込み層のカーネルサイズは3×3で、パディングとストライドはどちらも1。チャンネル数は順に32,32,64。
畳み込み層の後には BatchNormalization と サイズ2、ストライド2のMaxPooling がある。
つまり、層毎に縦横のサイズが半分になる。
全結合の隠れ層の数は512で後にはやはり、BatchNomalization がある。
こんな感じの結果が出てます。
f0054075_13364425.png
BatchNormalization はいろいろと覚えておかないといけないので無しで試してみた。全然だめだ。
f0054075_13380578.png
なら、BatchNormalization の β と γ を固定した簡易版を作って試した見た。これで良いみたいな感じです。
f0054075_13393528.png
よく考えてみると、BatchNormalization を使うときはバイアスは要らないって書いていたのを思い出したので、バイアス削除。
f0054075_13405052.png

これをスタート地点にしてみようと思うのだが、ゼロから作る Deep Learning の畳み込み用の BatchNormalization の実装間違ってませんか? 入力を4次元で N, C, H, W とすると、N の平均と分散しかとってないですよね。ここ とか見るとN,H,W 全部の平均と分散を取っているように見えるけど… どっちが正しいの?

[追記]
N,H,W 全部の平均と分散を取るように変更してみました。これで覚えておくパラメータがだいぶ減るはずです。そして肝心の認識精度は… 上がってるじゃん。パラメータ数が減って過学習が抑えられたのかな?良いことづくめじゃん。
f0054075_18454297.png
GitHub 更新しました。

[PR]
by tom01h | 2017-09-23 13:45 | 本・映画など | Trackback | Comments(0)
8章は読み物でした。
で、7章の実験の続き。やっぱり CIFAR-10 は全データを使わないとちゃんと学習できないのかな?
覚悟を決めてやってみた。頑張ったのはコンピュータですけどね。
ネットワークの拡張としては、
  • 畳み込み層を3層にしてチャンネル数を32にする
  • 全結合層のニューロン数を256にする
その前に、どれだけ学習させればよいのかわからないので、「詳解 ディープラーニング」に載っていた Early Stopping を導入しました。しばらく(今回は5エポック)の間、test accuracy の最高値を更新できなければ学習を打ち切ります。
左が畳み込み1で右が畳み込み3、上が全結合層100ニューロンで下が256です。
f0054075_13594527.pngf0054075_00060031.png

f0054075_15283483.pngf0054075_14003658.png

とにかく時間がかかって大変でした。特に右上の学習の進みがとっても遅かったようです。出口付近のネットが貧弱だとこうなるのかなぁ?もう少しいろいろ試してみたいけど…

[PR]
by tom01h | 2017-09-19 00:26 | 本・映画など | Trackback | Comments(0)
休み休みで時間がかかりましたが、やっとCNNまで読み進みました。
で、サンプルを実行してみる。すごく時間がかかります。コメントで、少ないデータでやってみろとあるので、この先は少ないデータでやってみます。若干過学習の気がありますが…
左がオリジナルで、右がBatchNormalizationを追加したもの。すげぇ。
f0054075_16115760.pngf0054075_16160147.png

MNISTだと精度が飽和しちゃってつまらないので、CIFAR-10 に挑戦したいと思います。
dataset/mnist.py の真似をするために、ダウンロードしてきたデータは CIFAR-10 binary version です。小さくて見難いけど、こんなデータです。
f0054075_21045260.png
んで、まぁ、いろいろ試行錯誤で出来ました。Githubに置いておくので、参考にしてください。
結果は… 過学習ですか?
f0054075_20594534.png

[PR]
by tom01h | 2017-09-17 23:09 | 本・映画など | Trackback | Comments(0)

信長の忍び

12巻です。アニメのDVDもついてきます。
f0054075_22125019.jpg

[PR]
by tom01h | 2017-08-30 22:13 | 本・映画など | Trackback | Comments(0)
2冊目だからかな?あまり考えずにさらっと読み進んじゃいました。が、そろそろ手を動かすべきかなと考え始めたそばからわからない。なんかこの本、文章での説明と実際のコードの間にちょっとだけギャップがあるんですよね。やりたいことは前回と同じだから、細かな違いはソースを見てねって感じで。まぁ、全部を説明していたら、ページも足りないだろうし、飽きちゃうだろうからちょうど良いのかもしれないけど…
P114のnumerical_gradientは自分を呼んでるの?そんな訳なさそうだし、Gtihubから落としてきてよ~く考えてみた。common.gradientからimportしているって事か。引数の型で実行する関数が変わるのかな?Pythonのことよく知らんし… ってか同じ名前つけるなよ紛らわしい。あと、どれを偏微分するかも引数の型だけで区別しているの?よくわかんないけど、何をどうしたいかは分かったから、まぁ良いか。どうせ今後はKeras…

[PR]
by tom01h | 2017-08-13 23:39 | 本・映画など | Trackback | Comments(0)

ゼロから作るDeepLearning

2冊目。1冊目はRNNは後回しにしました。ってか、買ったときは、RNNとかCNNとか良く分かってなかったし…
で、1冊目にはCNNのこと全く書いてないみたいだし、細かいところTensorFlowがやってくれちゃうんです。理論は書いてあるんだけど実際は関数呼ぶだけなので、分かった気になっただけな所もあるので。
f0054075_12482706.jpg


[PR]
by tom01h | 2017-08-11 21:46 | 本・映画など | Trackback | Comments(0)

信長の忍び 外伝

信長の忍びの始まる前の時代のお話の、尾張統一記の3巻です。こっちは3巻で完結の模様。本編はまだまだ続きますかね?お前は天下統一してないだろ?
f0054075_13393690.jpg

[PR]
by tom01h | 2017-07-31 20:22 | 本・映画など | Trackback | Comments(0)

技術的な本

実は最近、超久々に横書きの本を読んでいたりします。
  • GPUを支える技術
  • FPGAの原理と構成
GPUの方は安藤さんらしく、最新の情報を素人にもわかりやすく、技術的には専門に近い人から見るとちょっと浅いかもって感じ。そして実践的。
FPGAの方は、大学の先生が寄ってたかって書いている本で、まぁ、混とんとしています。とっても基本的なことから説明している所もあるし、いきなり難しい話をしているところもあります。FPGAとはあまり関係なく、計算機のアーキテクチャを説明してたりもします。過去の栄光?って感じでちょっと贔屓目の部分もあります。まぁでも、これはこれで面白い。
f0054075_13324614.jpgf0054075_13324668.jpg

[PR]
by tom01h | 2017-07-16 20:32 | 本・映画など | Trackback | Comments(0)

シリーズ中国近現代史6

え~~っ今更?もう出ないと思っていました。中国近現代史の完結です。4巻が11年1月で、5巻が14年8月で、やっと6巻が出てきました。とりあえず買ったけど、ちゃんと読むかな?
f0054075_20551285.jpg

[PR]
by tom01h | 2017-07-14 21:00 | 本・映画など | Trackback | Comments(0)

信長の忍び

11巻はアニメのDVD付きです。
f0054075_17120190.jpg

[PR]
by tom01h | 2017-02-28 22:11 | 本・映画など | Trackback | Comments(0)