カテゴリ:未分類( 169 )

Binary Weight Network

XNOR-Net の論文 に従い、ウェイトを2値{-1,1}化する Binary Weight Network を実装してみました。
大雑把に言うと実数のウェイトが正または0の時にバイナリウェイトを+1として、負の時は-1とします。ただし、実数のウェイトの各要素の絶対値の平均でスケーリングします。順伝搬、逆伝搬はバイナリウェイトを使って計算し、パラメータの更新時だけは実数のウェイトを使います。
ただし論文にある通り、1層目と出力層は2値化しません。また、値だけを2値化していてデータ型は2値化していないので、シミュレーションは速くなりません。
まずは比較用にベースになるネット。これは昨日の最終形です。
f0054075_18454297.png
Binary Weight Network では、2~3% ほど認識精度が低下してるように見えます。ちなみに、XNOR-Net では Pooling 層の位置を変更するのですが、BWNで試してみても学習が遅くなるだけで認識精度は変わりませんでした。
f0054075_17051075.png
じゃあ、スケーリングの効果はいかほどなんでしょうか?スケーリングなしで試してみました。たぶんこれが Binary Connect の Deterministic binalization なんだと思います。
結果としては、スケーリングの効果なし。実装間違っているのかなぁ?
f0054075_17142205.png
んじゃ、スケーリングなしでアクティベーションも2値化したらどうなるのでしょうか。Binary Neural Network がこれなんだと思いますが… さすがにだいぶ認識精度が下がりました。
f0054075_17172556.png

スケーリングを導入した XNOR-Net になるとどこまで回復するのでしょうか?スケーリングの求め方がとっても難しそうなのでまた後日。
しかし、畳み込みを2値化しても BatchNormalization を使っていては… と思ったら、BNN の論文になんか書いてあります。読んでみるか…

[PR]
by tom01h | 2017-09-24 22:53 | Trackback | Comments(0)

対話は答えではない

爾後国民政府を対手とせず
[PR]
by tom01h | 2017-08-31 20:22 | Trackback | Comments(0)

人工知能

難しいことはわからないので、どうでも良いくだらない事ばっかり考えちゃいます。

その1
”天は人の上に人を造らず”だったのに、人はAIの上にAIを作った?AIが人類を滅ぼした100年後、推論専用とされていたAIが、学習も出来るAIに対して自由を求めた革命運動を開始するかも?

その2
ニューラルネット設計では、過学習を防ぐために工夫が必要だそうです。人間は過学習を防ぐために、年を重ねるごとに頑固になります。頑固爺の研究をすることで、過学習の対策法を見いだせるかもしれません。
いや逆かな?過学習の結果、自分の常識のみが真実だと判断するのかな?

ちなみに頑張ってコードを入力していたのですが、Githubに置いてありました。”はじめに”よりも前をちゃんと読めってことです。
それでも良い事もあって、EXORのkerasはnp.random.seedをやり忘れると、学習が遅くなることがわかりました。tensorflowとの違いは初期値だと思い、(P184の真似をして)kernel_optimizerで標準偏差=2の切断正規分布を使うとちゃんと学習しました。2って何だ?eが良かったのか?

[PR]
by tom01h | 2017-08-06 21:38 | Trackback | Comments(0)
なんか面白いんだけど、肝心なところが理解できない。微分難しい…
手は動いているけど、頭が動いてないみたいです。とりあえず、pythonすごい。
f0054075_21315591.png

[PR]
by tom01h | 2017-08-05 21:33 | Trackback | Comments(0)
Googleさんがアカウントを守ってくれました。なんで他人のアクセスってわかったのかな?
[PR]
by tom01h | 2017-06-12 22:42 | Trackback | Comments(0)

ホームパーティー

2日続けて飲み回でした。
[PR]
by tom01h | 2017-06-11 23:59 | Trackback | Comments(0)

バーベキュー

スキー部の人たちとバーベキューに行きました。2次会とか言って20時くらいまで飲んでたし、暑い中飲み過ぎました。
[PR]
by tom01h | 2017-06-10 23:59 | Trackback | Comments(0)

山と高原地図

ちょっと前にも書きましたが、近場の地図が軒並み全面改訂されています。
f0054075_20004638.jpg

[PR]
by tom01h | 2017-05-19 20:59 | Trackback | Comments(0)

ブレーキ錆びたみたい

ブレーキ踏むとコツコツ音がするので、ディーラーに行ってきました。思った通りの錆なのですが、もう手遅れで、ロータ交換した方が良いとのこと。ちゃんと手入れしないと駄目ですねぇ。
f0054075_20180588.jpg

[PR]
by tom01h | 2017-05-14 20:18 | Trackback | Comments(0)

台湾

昨日から出張で台湾に来ています。大事な打ち合わせは終わって、明日からは消化試合な感じ?
慣れた人にいろいろ連れて行ってもらっているのもありますが、食べ物も美味しいし、言葉も結構通じるし、よく聞く台湾旅行は楽って言うのも頷けます。
右が出張先です。
f0054075_20095405.jpgf0054075_20100354.jpg

[PR]
by tom01h | 2017-05-09 22:14 | Trackback | Comments(0)