Character level 임베딩 차원은 어떤 크기로 정해야 하나요?

캐렉터 레벨에서는 그러면은 그..임베딩 디멘젼은 얼만지 어떻게 결정되는지 궁금합니다.

(조경현 교수님 답변)

그죠 그 부분이 사실 캐렉터 레벨 임베딩은 굉장히 작아도 되는데요. 근데 저희가 실험을 할때는 뭐 그렇게 옵션들 디폴트로 거의 놔두고 해서 캐릭터 임베딩을 쓰리 헌드래드 다이멘션인가 뭐 이렇게 주고 했거든요. 아마 근데 그거보다 훨씬 작게 해도 괜찮을거 같습니다.

그죠 이제 이런 뉴럴넷 만드는거 대해서 굉장히 앱스트렉한 레벨에서 얘기를 했는데 실제로 뭐 히든 레프리젠테이션 다이멘션이 얼마나 되야되고 뭐 얼마나 복잡하게 만들어야 되고 하는지 그거는 일단 그거 자체가 하이퍼 파라미터구요. 그러니까 하이퍼시즈셋이 계속 나오는거죠 조금씩 네트워크 아키텍쳐를 꿀때마다...
근데 어떤게 맞냐 미리 트레이닝하기 전에 알 수 있느냐 하면 사실 답은 뭐 알 수는 없구요. 미리 알 수는 없구요. 왜냐하면 그 아는거 자체가 트레이닝을 하는게 저희가 알기 위해서 하는거니까요. 답은 이제 알수는 없는데.
제 기본적인 생각은 어느정도 컴프렉시티가 있는 뭐 머신 트렌스레이션이라든지 퀘스쳔 앤서링 뭐 이런것들에 있어서는 지금 저희가 쓰는 뉴럴넷들이 너무 작은거 같습니다. 훨씬 더 크게 하면 더 잘될건데 지금 이제 컴퓨테이션 리소스 컨스트레인때문에 사실 더 못하는거구요. 그래서 제가 언제나 추천하는거는 지피유 메모리가 허락하는 안에서 최대한 크게...그렇게 생각합니다.