CNN

[論文メモ] ConvMLP: Hierarchical Convolutional MLPs for Vision

arxiv.org 個人的なメモレベル 概要 最近流行り始めているMLP-basedなアーキテクチャは固定サイズの入力とFC層による高計算コストでobject detection等にしても使いにくい。 提案するConvMLPは軽量でステージに分割(ダウンサンプリングをする)といった畳み込…

Learning Confidence for Out-of-Distribution Detection in Neural Networks

クラス分類などで実際にニューラルネットを実際に使うとわかるが、ある入力が特定のクラスである確率が9割を超えていても間違えている事がある。 Adversarial Attackなどを考えればよく分かる。 この論文では、入力に対してクラスラベルの推定と共にその予測…

Born Again Neural Networks

[1805.04770] Born Again Neural Networks本来Knowledge distillation (KD) はモデルの圧縮に使われているが、そうではなくKDによって教師モデルより高いパフォーマンスの生徒モデルを作ることを試みたのがこの論文。 自分の記憶だとKD的なものは2014年あた…

Learn to Pay Attention

https://arxiv.org/abs/1804.02391 ICLR2018。 CNNにおけるチャンネル方向ではなく空間方向へのAttentionモデルの提案。タイトルがいいよね。 図を見たほうが早い。 決められたそれぞれの特徴量マップに対してAttentionを行う。画像のどこに注目するかという…