기술과 일상을 함께 기록합니다.
이미지·오디오·비디오 입력의 처리 흐름과 영수증 추출 예제, 모달리티별 평가 항목을 살펴봅니다.
ViT의 이미지 토큰화부터 CLIP의 이미지·텍스트 정렬, BLIP-2의 시각 정보를 이용한 문장 생성까지