arxiv.orgself-attentionの計算にメモリは必要ないself-attentionはクエリ、長さのキーとバリューをそれぞれ、として次の式で表せる（ただしクエリが1つのとき）。 普通に実装するとの計算・保存ためにの計算量とメモリが必要。そしてself-attentionは必要。…