외부 진료 자문 일정에 잠깐 여유 시간이 되어 참가해본 nVidia Deep Learning Institue (http://www.nvidia.com/content/apac/event/kr/nvidia-deep-learning-institute-march/)
(사진 출처 : http://biztribune.co.kr/n_news/news/view.html?no=17005)
구글링을 했는데 마땅한 후기들이 없어 참여할지 말지 고민했는데, 3월 세션의 주제가 Medical image segmentation 이었기에(이런 최근 핫한 이슈를 놓칠 수는 없지) 잘 모르는 상태에서 그냥 등록.
당일에 듣기로는 일주일만에 등록이 마감되었다고 한다.
교육 방식은 어떠한 이론의 강의도 아니고, 스스로 코딩을 해보는 방식도 아니고, 이미 jupyter로 만들어진 소스들을 하나하나 실행해가면서 그 결과를 확인해보는 것이다. 첫번째 session은 DIGITS이라는 nVidia의 프레임웍을 이용하고, 두번째 session은 Python(Tensorflow), 세번째는 R을 이용한다. DIGITS은 사전 준비 튜토리얼을 보고 대충 익혔고, 나머지 두 언어는 알고 있어서 이해에는 크게 무리가 없었다.
결과적으로 얘기하자면, 나한테는 정말 좋은 시간이었지만 조금은 애매한 level의 교육이라고 할 수 있는데, 왜냐면 이 세션을 통과하는 큰 줄기가 바로 convolution neural network 이기 때문에, 이 부분에 대한 기본적인 이해가 없느면 이미 만들어진 소스를 그냥 따라 가는 것에 불과하기 때문이다. 그리고 (개인적인 생각으로는) neural network은 각 node의 변화를 하나하나 직관적으로 이해할 수 없어서 결국 cross_entropy의 감소 및 우리가 측정하고자 하는 value의 증가, 감소로만 그 efficacy를 증명할 수 가 있기 때문에, 초보자들한테는 이걸 들어도 무슨 이야기인지 알기 어려운 느낌이었다. 김성훈 교수님의 강의(http://hunkim.github.io/ml/)가 정말 어마어마하게 쉽게 설명하고 있는 것이구나 하고 다시 느낄 수 있었다. 다행히 강좌를 RNN까지 들어놨기에 비교적 쉽게 이해할 수 있었다. 게다가 deconvulotion에 대한 개념적인 이해도 같이 해볼 수 있었다.
반면에 CNN, RNN(보니까 4월 세션은 이쪽이 주 일듯 하다)을 능수능란하게 구현할 수 있는 고급자한테는 더욱 필요가 없는 시간일 듯 하다. 다만 한가지 그래도 얻을 수 있다면 바로 이 인증서,
이름은 삭제해두었다.
이렇게 대충, 나는 Medical Image Segmentation에 대한 Deep learning 인증서(? – 정확히 말하자면 교육 참가 인증서)를 하나 갖게 되었다.
연좌셨던 nVidia 과장님께 다행히 쉬는 시간에 질문을 통해 많은 의문을 해소했으나, 여전히 잘 이해가 안가서 나중에 찾아볼 내용들.
#1. 표본이 적은 dataset에서 학습이 충분히 이루어지지 않는 단점을 해결하기 위해 fine tuning된 pre-trained model을 이용하여 학습을 시행하는데, 분명 이미 수차례의 epoch을 돌려서 구성된 각 노드의 값들이 추가되는 학습에 의해 크게 변화하는지?
– 이것에 대해 연좌분은 그래서 너무 layer들이 너무 많아질(deep?) 경우 overfitting이 발생하므로 ‘적절히’ 구성되어야 한다고…이 적절함을 어떻게 찾을 수 있을지가 하나의 삽질 같이 느껴진다. (마치 이건 생물학자들이 약간의 변수를 조절하고 Western blot을 돌리고, 바꾸고 다시 돌려보고 좌절하는 것과 같은 것이 아닐까?…)
#2. FCN(fully connected network) 이라는 것을 사용하는데, 원래 이미지같은 자료는 그 노드의 갯수가 너무 많이지기 때문에 FCN이 좋지 않다고 알고있다.(사실 이 말도 내가 잘못 알는 것인지도 모른다) 그런데 예제는 다 FCN으로 구성된 내용이었다. GPU를 믿고 그렇게 한것인지..
