Feature Extraction

Feature Extraction

Neural Net은 "Black box"라고 불립니다. 중간과정에서 정확히 무슨 일이 일어나는지 표현이 힘들기 때문입니다.

간단하게 이에 대한 insight는 Feature Extraction으로 얻을 수 있습니다.

CNN을 예시로 들어 설명하겠습니다.

만약 사람의 얼굴 인식이 가능한 학습이 완료된 모델이 Deep CNN이있다고 생각하면 여러 은닉층은 각각 다른 특징에 대해 다른 가중치를 부여합니다.

 

https://sci2lab.github.io/ml_tutorial/cnn/

위 그림과 같이 은닉층의 unit을 최대로 활성화 시키는 input을 시각화하면 다음과 같이 특징을 추출해내는 Feature Extraction의 역할을 하는 것을 알 수 있습니다. 

얕은 은닉층에서는 선이나 모양등 간단한 low-level의 feature를 주로 감지합니다. 

깊은 은닉층에서는 object를 감지하거나 edge의 조합을 감지하는 역할을 합니다. 이는 층이 깊어질수록 이전의 은닉층의 정보가 결합되어 활용되기 때문입니다..

 

hidden layer의 output은 해당하는 feature를 얼마나 감지하였는지 나타내는 값과 같습니다. 

따라서 이를 feature extraction기능으로 활용이 가능합니다.