로그인 바로가기 하위 메뉴 바로가기 본문 바로가기
난이도
기본

딥러닝을 이용한 자연어 처리

임시 이미지 조경현 교수
http://www.boostcourse.org/ai331/forum/139087
좋아요 776 수강생 7827

Capsule network로 텍스트 분류 문제를 사용하는건 어떤가요?

아 네..CNN 계열로 텍스트 클래시피케이션 하셨는데, 혹시 그...캡슐 넷이나 이런걸로는 불가능한지...왜냐하면 좀더 리전을 잘 잡을 수 있을거 같아서 그렇게 생각을 했거든요. 아무래도 이미지의 단순한 위치보다는 그..텍스트의 위치나 그게 좀 강해서...혹시 생각해보셨거나 했는지...

(조경현 교수님 답변입니다)

캡슐넷요...예...아...캡슐넷이...생각은 다들 많이 하는데...
근데 이제 캡슐넷쓰는게 그렇게 텍스트에서는 그렇게 트리뷰얼하지가 않습니다.
왜냐하면은 캡슐넷 자체가 목표가 이런 뭐 컨벌루션에서의 풀링같은걸 썼을때는 인베리언스를 찾는건데 그 쪼금의 펄서베이션이 있어도 아웃풋이 그대로 있어야 된다 뭐 이런걸 찾는게 이제 대부분 컨플레션하는건데 캡슐넷 같은 경우는 그거보다 이퀴베리언스 그니까 중요한 펄터베이션이 있으면은 아웃풋도 똑같이 그 펄터베이션을 유지를 해야된다는 거거든요.
근데 이제 텍스트에서는 사실 그게 그렇게 트리뷸하지가 않죠. 과연 이 중요한 펄터베이션이라는게 뭐냐부터가 데퍼니션이 잘 안돼있구요.
물론 캡슐넷같은걸 중간에다가 쓸수있겠죠. 센텐스 레프리젠테이션을 처음에 좀 뽑아낸 후에 캡슐넷을 쓴다든지 할수있겠죠.
근데 그것도 워낙..뭐 그렇게 최근은 아니고 2011년에 제프리 힌턴이 톡하는걸 들었었는데 그 후에 이번에 드디어 뭐 이제 된다고 하는데 좀더 가봐야되겠죠.