ResNet

[論文メモ] DeiT III: Revenge of the ViT

arxiv.orgMeta AI ただの教師あり学習だけ(自己教師あり学習なし)でVision Transformerのパフォーマンスを向上させた。 Vision Transformer(ViT)はconvolutionのような帰納バイアスが無い分能力は高いが学習しパフォーマンスを出すのが難しく、事前学習とし…

[論文メモ] ResNet strikes back: An improved training procedure in timm

arxiv.org 少々雑なまとめ。微妙におかしいところがあるかもなので勘弁。ILSVRC2012の画像分類タスクの精度がモデルの評価としてよく使われている。 モデルの精度は以下の式と考えられる。がモデルのアーキテクチャ、が学習手続き、が測定時のノイズ(過学習…