모델 아키텍쳐의 결정 방법 이론은 존재하나요? 어떻게 결정해야할까요?

안녕하세요. 그 궁금한게 하나 있는데 그...결국 이제 사실 중요한거는 문제...어떤 문제이냐에 따라서 네트워크 아키텍쳐를 잘 정하는게 사실은 제일 중요한거 같고.
그 다음에 이제 하이퍼파라...파라미터들을 튜닝하는 과정일거 같은데요, 그게 결국은 이제 엑스와 와이 분포에 따라서 그런 적합한 아키텍쳐들이 있지 않을까 생각이 드는데...그거에 대해서 이제 좀 어...사실은 연구자들의 도메인 날러지가 아니라 좀...이론적인...그런...개런티까지는 아니더라도 좀 그렇게 결정할 수 있는 방법이 궁금합니다.

(조경현 교수님 답변)

네...아...좋은 질문이시구요. 제가 여기..오늘...지금 얘기한거에서 아까부터 얘기하지만 그...네트워크 아키텍쳐를 어떻게 정하는지 뭐 이런거에 대해서 전혀 얘기를 안했는데 얘기를 안한 이유가 사실 일단 씨어러티컬하게 봤을때 개런티가...를...저희가 알고 있는게 별로 없습니다. 어떤 이제 인풋이 주어지고 아웃풋이 주어지고 심지어 뭐 그냥 디스트리뷰션이 정확하게 주어졌다고 해도 어떤 네트워크 아키텍쳐가 가장 옵티멀하고 그런건지에 대해서 사실 정확히는 잘 모르구요 많이 모르고. 뭐 아주 옛날 뭐 리절스 유니벌스 프로시메티러 씨어런같은 것도 있고, 그리고 이제 런닝 씨어리에서 나오는 이제 뭐 제널라이제이션 바운드도 쫌 있고 그 외에도 최근에 저도 쫌 했었고 이제 다른 사람들이 지오메트리를 보면서 이제 뉴럴넷이 어떻게 보자면 이제 뉴럴넷이 그냥 컨퍼지셔널 펑션이니까 어떤 펑션들이 컨퍼짓됐냐에 따라서 어떤 펑션을 어프록시메이트할수 있는지를 조금은 볼 수 있거든요. 그렇게 했을때는 이게 조금더 저것보다 낫다 이런식으로 있는데 아직 그렇게 실전에 활용할 만큼의 씨오리가 아직 그쪽에 없습니다.
그렇다면 물론 이 지금 렉쳐를 보시고 생각을 한게 만약 인풋이 엑스가 뉴럴넷 아키텍쳐고 와이가 그 뉴럴넷 아키텍처의 성능이었다 하면 혹시 수퍼바이저 러닝위에다가 또 수퍼바이저 러닝을 할 수 있지 않나 그런게 나올 수 있겠죠.
이제 그런게 뉴럴넷 아키텍처 썰치라고도 하고 메타러닝이라고도 하는데 글쎄요 내일 만약 시간이 좀 남으면 그걸 얘기를 해보도록 하죠.