Zero-Shot Learning Through Cross-Modal Transfer

https://arxiv.org/abs/1301.3666

• 데이터셋과 모델:
  • 연구팀은 CIFAR-10 이미지 데이터셋을 사용하여 모델을 훈련했습니다. CIFAR-10은 10개의 서로 다른 객체 클래스로 구성된 이미지 데이터셋입니다.
• 이미지 특징과 워드 임베딩:
  • 모델은 이미지의 특징 벡터를 추출한 후, 이 벡터를 워드 벡터 임베딩 공간으로 매핑했습니다. 워드 벡터 임베딩은 자연어 처리에서 사용되는 기술로, 단어를 고차원 벡터로 표현하여 단어들 간의 의미적 유사성을 반영합니다.
• 매핑 함수 학습:
  • 이미지 특징 벡터를 해당 클래스의 워드 임베딩 벡터로 변환하는 매핑 함수를 학습했습니다. 예를 들어, 'cat' 이미지의 특징 벡터를 'cat' 단어의 워드 임베딩 벡터에 매핑하는 방식입니다.
• 제로-샷 학습:
  • 모델은 CIFAR-10 클래스 외에 두 개의 새로운 클래스를 예측할 수 있음을 보였습니다. 이는 모델이 훈련 중 보지 못한 새로운 클래스를 워드 임베딩 공간에서 유추하여 예측할 수 있다는 것을 의미합니다.

모델의 학습 과정

이미지 특징 추출:

• CNN(합성곱 신경망)과 같은 이미지 처리 모델을 사용하여 입력 이미지로부터 특징 벡터(feature vector)를 추출합니다. 이 특징 벡터는 이미지의 중요한 시각적 정보를 포함합니다.

워드 벡터 임베딩:

• 이미지가 표현하려는 객체(클래스)에 대한 단어 벡터(워드 임베딩)가 미리 학습되어 있습니다. 이 단어 벡터는 Word2Vec, GloVe 등과 같은 알고리즘을 통해 텍스트 데이터를 기반으로 학습된 것입니다.

매핑 함수 학습:

• 모델은 이미지 특징 벡터를 해당 클래스의 워드 벡터 임베딩으로 매핑하는 함수를 학습합니다. 이는 주로 이미지 특징 벡터를 워드 임베딩 벡터 공간으로 변환하는 선형 또는 비선형 변환을 포함합니다.

학습 예시

단계 1: 이미지 특징 추출

입력 이미지(예: 고양이 이미지)를 CNN에 통과시켜 이미지 특징 벡터 \( f_{\text{cat}} \)를 얻습니다.

단계 2: 단어 벡터 준비

고양이의 워드 벡터 임베딩 \( w_{\text{cat}} \)는 미리 학습된 워드 임베딩 공간에서 가져옵니다.

단계 3: 매핑 함수 학습

모델은 이미지 특징 벡터 \( f_{\text{cat}} \)를 \( w_{\text{cat}} \)에 가까운 벡터로 변환하는 매핑 함수 \( M \)를 학습합니다. 이 함수는 보통 신경망의 일부로, 매핑 과정에서 손실 함수를 최소화하도록 학습됩니다.

\[ M(f_{\text{cat}}) \approx w_{\text{cat}} \]

 

제로-데이터 학습(Zero-Shot Learning)

• 모델은 학습 중에 보지 못한 클래스에 대해 일반화할 수 있습니다. 예를 들어, 모델이 "horse"라는 클래스를 학습하지 않았더라도, 학습된 매핑 함수 ( M )를 사용하여 "horse" 이미지의 특징 벡터를 "horse" 워드 벡터 임베딩으로 변환할 수 있습니다.

요약

• 모델 입력: 이미지
• 모델 출력: 이미지 특징 벡터를 워드 벡터 임베딩 공간으로 매핑한 벡터
• 학습 내용: 이미지 특징 벡터를 워드 벡터 임베딩으로 매핑하는 함수

모델은 이미지를 입력으로 받아 이미지 특징 벡터를 추출하고, 이를 워드 벡터 임베딩 공간으로 변환하는 매핑 함수를 학습합니다. 이를 통해 새로운 클래스에 대해 제로-데이터 학습을 수행할 수 있게 됩니다.