Self attention은 얼만큼 길이의 context 길이를 볼 수 있나요? 그렇다면 계산량 이슈는 어떻게 해결하나요?

알엔엔 같은 경우에는 그 인피니티 랭스에 컨텍스트를 반영할 수 있는데 셀프 어텐션 경우에는 어느정도의 컨텍스트를 가지고 변하는지 궁금하고, 결국 매번 보면은 이제 컴피테셔널한 이슈가 있을거 같은데 알엔엔이랑 비교했을때 그거를 어떻게...

(조경현 교수님 답변입니다)
그렇죠 네 맞습니다. (Infinite context.. - Recurrent Memory Networks [Tran et al., 2016]장표를 보면서 설명함)
그래서 사실 Self-attention이랑 Recurrent Network 둘다 어제 봤던 것처럼 그리고 오늘도 잠깐 방금전에 봤던 것처럼 컨텍스트 랭스에는 문제가 없죠.
만약 시간만 충분히 있다면은 아무리 긴 컨텍스트라도 리커리언넷은 한번 리니어하게 쭉 읽으면 될거구요.
셀프 어텐션 같은 경우는 매 스텝마다 그전에 있었던걸 다 계산하면 되니까 오래는 걸리더라도 할수는..컨텍스트 아무리 길어도 쓸수는 있구요.
근데 실제로 만약 다큐먼트 자체가 엄청나게 길고 아니면 센텐스 주어진게 굉장히 길다 자체가 길다하면은 리커리언넷이 테스트 타임에는 확실히 더 빠릅니다.
그렇다고 해서 더 잘되느냐 그건 또 쫌 다른 문제죠.