VLM 이란?

VLM (Vision-Language Model) 은 컴퓨터 비전(이미지 이해)과 자연어 처리(텍스트 이해)를 결합하여 이미지와 텍스트를 동시에 처리하고 이해할 수 있는 모델

VLM은 이미지와 텍스트 간의 상호작용을 학습하기 위해 설계되었으며, 이미지 캡셔닝, 시각적 질문 답변, 이미지-텍스트 검색 등과 같은 멀티모달 작업에서 주로 사용,

대표적인 VLM으로는 CLIP, DALL-E, Flamingo, BLIP, ViLT 등이 있으며, 이들은 이미지와 텍스트 데이터로 사전 학습되어 서로 다른 모달리티 간의 관계를 학습하고 이해하는 능력을 갖춤

장점:

1. 멀티모달 이해: 이미지와 텍스트의 상관관계를 학습하여 복합적인 입력을 이해하고 응답
2. 다양한 애플리케이션: 이미지 캡셔닝, 비주얼 검색, 콘텐츠 생성 등 다양한 응용 분야에 적용
3. 성능 향상: 두 가지 모달리티를 결합하여 각각의 성능을 극대화하고, 더 정교한 응답을 생성

단점:

1. 복잡한 훈련 과정: 이미지와 텍스트를 동시에 처리하고 학습해야 하므로 훈련 과정이 복잡하고 비용이 많이  듦
2. 데이터 요구량: 두 모달리티를 학습하기 위해서는 대규모의 멀티모달 데이터셋이 필요
3. 해석의 어려움: 멀티모달 모델의 결정 과정을 해석하거나 디버깅하기가 어려움

사용 예시:

1. 사용 예시 1 - 이미지 캡셔닝(Image Captioning):
   • 단계 1: 사전 학습된 VLM(예: BLIP, ViLT) 모델을 로드합니다.
   • 단계 2: 모델에 이미지를 입력하고, 해당 이미지에 대한 설명을 생성하도록 합니다.
   • 단계 3: 생성된 설명을 검토하여 정확성과 관련성을 평가합니다.
   • 단계 4: 필요시 추가 훈련 데이터로 파인튜닝하여 모델의 성능을 개선합니다.
2. 사용 예시 2 - 시각적 질문 응답(Visual Question Answering, VQA):
   • 단계 1: VLM 모델(예: Flamingo)을 사용하여 이미지와 관련된 질문을 입력합니다.
   • 단계 2: 모델이 질문에 대한 답변을 생성하도록 훈련합니다.
   • 단계 3: 생성된 답변의 정확성을 확인하고, 필요시 도메인 특화 데이터를 추가하여 모델을 향상시킵니다.
   • 단계 4: VQA 모델을 애플리케이션에 통합하여 사용자와의 상호작용에 사용합니다.
3. 사용 예시 3 - 멀티모달 검색 시스템:
   • 단계 1: 사용자가 이미지 또는 텍스트 질의를 입력합니다.
   • 단계 2: VLM 모델(예: CLIP)을 사용하여 이미지와 텍스트 간의 임베딩 공간에서 질의와 유사한 항목을 검색합니다.
   • 단계 3: 검색된 항목을 사용자가 이해할 수 있는 형식으로 출력하고, 사용자의 피드백을 통해 시스템을 개선합니다.
   • 단계 4: 멀티모달 검색 성능을 향상시키기 위해 모델과 데이터베이스를 지속적으로 업데이트합니다.