Google MobileNet V1/V2 について

バイナリニューラルネット (BNN) アクセラレータの実装も落ち着いてきたので、そろそろベンチマークのネットワークを更新したいと思っています。というのも、今使っているネットワークでは全結合層で使うパラメータの数がとっても多くなってしまっているためです。
そんなわけで、参考にならないかと思って Google の MobileNet とその V2 の論文を読んでみました。隅々まで読んだわけじゃないけど。
内容については他の方の要約 ( V1 V2 ) に譲るとして、さすが Google さん。つぶしのきかない BNN と違って、あくまで行列乗算での軽量化にこだわるのを見ると完敗した気分です。
で、V2 の方のボトルネック。BNN が活性化後にデータ量がぐっと減るのと同じで、ボトルネックでデータ量を減らしてきます。多分、ボトルネック間を一気に計算することで、中間データ用メモリのサイズを小さく出来るのだと思います。論文の Memory efficient inference には難しいことが書いてあって理解できませんが…
話がそれた。最後の方のアベレージプーリングが肝なのかと思います。

[PR]
トラックバックURL : https://tom01h.exblog.jp/tb/29845809
トラックバックする(会員専用) [ヘルプ]
※このブログはトラックバック承認制を適用しています。 ブログの持ち主が承認するまでトラックバックは表示されません。
by tom01h | 2018-06-12 00:12 | Trackback | Comments(0)