AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representationsを読んだ
詳細はこちら
qiita.com
以前からArcFaceというmetric learningの手法が優秀なので使っていたが、AdaCosはArcFaceのハイパーパラメータを調整してくれるということで使ってみた。そしたら想像以上に優秀だったのでAdaCosが自分のデファクトスタンダードになった。
ただ気になる点もある。ということろがあるのだが、が正数になるとは断言できないのではということだ。xとWを正規化しているが、正数にしてはいない。もしもが負になったら大変である。なのでとしたほうが良いのではということ。式的には論文のほうがきれいかな?もしかしたら見落としがあるかもしれない。