"Tagging" 문제에서 self attention 을 활용하면 어떤가요?

셀프 어텐션을 이용을 하게 되서 문장의 클래시피케이션을 이렇게 하는데 셀프 어텐션을 사용한다라고 말씀을 하셨는데요. 제가 지금 하고 있는게 어떤 문장에서 한 토큰에...그니까..문장 안이나 하나의 토큰에 클래시피케이션을 하는데 그때도 셀프 어텐션을 이용을 해서 한 토큰이 어떤 클래시피케이션을 하는데 있어서 한 문장에서 다른 토큰한테 얼마나 영향을 받았는지에 대해서도 지금 한번 실험을 해보고 있는데 혹시 어떻게 생각하세요?

(조경현 교수님 답변입니다)
네 그래서 그거는 사실 어제 텍스트 클래시피케이션에서 나왔던 건데요. 지금 이제 질문이 나온게 질문 하신 내용이 저희가 이제 태깅이라고 부르는 문제가 있습니다.
센텐스가 딱 주어졌을때 쎈텐스는 이제 토큰들이 쭉 있는거죠.
그랬을때 이제 각 토큰들에 대해서 뭔가 태그를 붙여주고 싶은거죠.
예를 들어서 아주 간단하게 파트어브스피치 테깅이라는걸 하면은 토큰을 봤을때 토큰이 동사냐 아니면 뭐 주어냐 명사냐 다양하게 이렇게 태그를 줄수가 있겠죠.
근데 태그를 주는게 토큰을 하나면 봐서는 보통 태그를 주기가 힘듭니다.
왜냐하면 그런거면 사실 이런 머신러닝 안쓰고 그냥 사전 이렇게 열어봐가지고 단어찾은다음에 거기에 달려있는걸 보겠죠.
근데 이제 이 문제를 풀기위해서 보통필요한게 컨텍스트를 봐야되는데요. 이문장에서 이 단어가 어떻게 쓰이고 있나.
그걸 보기위해서는 어떻게 보자면은 어제 봤던 텍스트 클래시피케이션과 똑같은 문제가 되는건데요.
센텐스가 주어져 있고, 그 센텐스를 서머라이즈를 한 다음에 어떤 토큰하나와 같이 비교를 해봤을때 과연 이 토큰이 어떤 식의 클래스에 속해야되나를 보는거니까 셀프 어텐션을 쓸 수 있죠.
다만 쓸때 클래시피케이션 클래시퐈이어가 하나가 있는게 아니라 센텐스당. 각 토큰마다 클래시퐈이어들이 계속있는 식으로. 네 당연히 사용하는데 셀프 어텐션 쓰는거 좋은 아이디어입니다.