雑多な趣味の記録帳

tom01h.exblog.jp

2018年 06月 17日 ( 1 )

蒸留学習

以前 1度試してみたことがあるのですが、あまり分かりやすい結果が出ませんでした。
大雑把にいうと、いまいちな教師データで変な癖がつかないように?、自分より賢い学習済みのネット(教師ネット)の出した判断結果を教師データとして使った学習法です。
今回は水増しで学習したネットを教師ネットとします。
f0054075_17074444.png
水増しなしの学習で、蒸留なしで学習した時と、蒸留ありで学習した時を比較しました。
蒸留ありで学習すると、水増しありで学習した教師ネットと同じ精度を出すところまで行きました。
f0054075_17204961.png
先日書いた 100% に張り付いていた Train Accuracy というのはうそでした…

[PR]
by tom01h | 2018-06-17 19:58 | Trackback | Comments(0)