AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representationsを読んだ

詳細はこちら
qiita.com

以前からArcFaceというmetric learningの手法が優秀なので使っていたが、AdaCosはArcFaceのハイパーパラメータを調整してくれるということで使ってみた。そしたら想像以上に優秀だったのでAdaCosが自分のデファクトスタンダードになった。
ただ気になる点もある。cos(\min(\frac{4}{\pi}, \theta_{med}^{(t)}))ということろがあるのだが、 \theta_{med}^{(t)}が正数になるとは断言できないのではということだ。xとWを正規化しているが、正数にしてはいない。もしも\theta_{med}^{(t)}が負になったら大変である。なので\max(\cos {\theta_{med}^{(t)}, \cos{\frac{\pi}{4}}})としたほうが良いのではということ。式的には論文のほうがきれいかな?もしかしたら見落としがあるかもしれない。