생성 모델링

1.1 생성 모델링

- 생성 모델

: 데이터셋을 생성하는 방법, 모델에서 샘플링해서 새로운 데이터를 생성함

훈련 데이터 : 개체의 샘플을 많이 가진 데이터셋

샘플 : 데이터 포인트 한개

- 각 샘플은 많은 feature로 이루어져있음

- 이미지 생성에서는 feature는 개별 픽셀값

- 생성 모델은 결정적이 아니고 확률적이어함, 고정되어있는 것이 아니라 영향을 미칠 수 있는 확률적 요소를 포함해야함

 

 

1.1.1 생성 모델링, 판별 모델링

판별 모델링을 수행할 때는 훈련 데이터의 각 샘플이 레이블을 가져야함

판별 모델링은 지도학습. 

ex. 반 고흐의 그림을 판별하는 모델은 반 고흐 그림처럼 보이는 그림을 만드는 방법은 알지 못함

 

cf. 생성 모델링은 레이블이 없는 데이터셋에서 수행됨(비지도 학습)

개별 클래스 샘플을 생성하기 위해서 레이블을 가진 데이터셋에서도 적용 가능함

 

-> 판별 모델링은 샘플 x가 범주 y에 속할 확률을 추정함

-> 생성 모델링은 샘플 레이블이 아닌 샘플을 발견할 확률을 추정함

-> 판별 모델링은 머신러닝 발전에 동력 제공

 

1.1.2 생성 모델

-> 최근에는 생성 모델링 작업에 딥러닝을 적용함

1) 엔비디아의 StyleGAN : 실제 같은 사람 얼굴 이미지 생성 가능

2) 오픈AI의 GPT-2 언어 모델 : 짧은 도입 구문 제공 시 완전한 문장 만들 수 있음

 

1.1.3 생성 모델링 프레임워크

• 샘플 데이터셋 X를 가짐
• 샘플이 알려지지 않은 어떤 Pdata 분포로 생성되었다고 가정
• 생성 모델 Pmodel이 Pdata를 흉내내려고 함. 
• 목표 달성 시 Pmodel에서 샘플링해서 Pdata에서 뽑은것 같은 샘플 생성 가능
• Pmodel 의 규칙

• 규칙 1 : Pdata에서 뽑은 것 같은 샘플 생성이 가능함
• 규칙 2 : X에 있는 샘플과 다른 샘플 생성이 가능함, 모델이 이미 본 샘플을 단순히 재생산하지 않음

 

1.2 확률적 생성 모델

• 표본 공간 : 샘플 x가 가질 수 있는 모든 값의 집합
• 확률 밀도 함수 : p(x)는 표본 공간의 포인트 x를 0과 1 사이의 숫자에 매핑하는 함수
• 모수 모델 : p𝜽(x)는 한정된 개수의 파라미터 𝜽 사용해서 묘사하는 확률 밀도 함수의 한 종류
• 가능도 : 파라미터 집합 𝜽의 가능도는 샘플 포인트 x가 주어졌을 때 𝜽의 알맞은 정도를 측정함
• 최대 가능도 추정 : 확률 밀도 함수의 파라미터 집합에서 관측된 데이터 X를 가장 잘 설명할 수 있는 추정값을 찾는 방법

진짜 확률 밀도 함수 Pdata는 하나지만 Pdata를 추정하기 위해 사용할 수 있는 확률 밀도 함수 Pmodel은 무수히 많음

적합한 Pmodel(X)를 찾기 위해 모수 모델(parametric model)이라는 기법을 사용

 

1.3 생성 모델의 난관

• 특성 간에 조건부 의존성이 클 때는 어떻게 대처할 것인가
• 모델 이 고차원 표본 공간의 생성 가능한 샘플 중 만족할 수 있는 하나를 찾을 것인가

미리 만든 가정을 따르는 것이 아니라 데이터로부터 의미 있는 구조를 추론할 수 있는 모델이 필요함

딥러닝이 저차원 공간의 특성으로 변환할 수 있는 사실은 표현학습(representation learning)을 수행함

 

1.3.1 표현학습

- 고차원 표본 공간을 직접 모델링하는게 아니라 대신 저차원의 잠재 공간(latent space)를 사용해서 훈련세트의 각 샘플을 표현하고 원본 공간의 포인트에 매핑

- 잠재 공간의 각 포인트는 고차원 이미지에 대한 표현

--> 미리 주어진 특성에 값을 할당하지 않음

--> 샘플을 묘사하는데 가장 뛰어난 특성과 이런 특성을 원본 데이터에서 추출하는 방법을 학습함

(데이터의 비선형 매니폴드를 찾고, 공간을 완전하게 설명하기 위한 필요 차원을 구성함)

 

- 픽셀이 어떻게 출력되어야하는지 가장 잘 설명하는 고수준 특성을 만듦

- 잠재 공간의 포인트는 잘 구성된 이미지를 표현함

- 잠재 공간에서 특성값을 조금 바꾸면 새로운 표현 생성 가능

- 원본 이미지 공간으로 잠재 공간을 되돌리면 개별 원시 픽셀을 직접 다루는 것보다 실제와 같이 보일 가능성이 높을 것