人気ブログランキング | 話題のタグを見る

雑多な趣味の記録帳

tom01h.exblog.jp

4値アクセラレータ化始動

とりあえず C 言語で書いたサンプルモデルが出来上がりました。
やはり精度低下はバグが原因で、途中の演算精度を落としたせいではなかったようです。
ちなみに4値アクティベーションは、学習時は±1/3,1を使っていましたが、推論時は全体を3倍して±1,3を使います。
それに合わせて、正規化用の平均と分散も3倍します(正確にいうと分散を3倍するのではないですが…)。また、入力値から平均を引くのは良いとして、偏差で割るのは大変です。前もって逆数を計算しておいて掛けるのだって、やはり大変です。なので、次段の活性化で比較に使う1/2の方に偏差を掛けておきます。これで、2値の時と比べても、計算量は倍にはならないと思っています。
Github 更新してます。

by tom01h | 2017-10-21 23:15