태그: #multimodal

← 전체 글

• 모두를 위한 AI 4편 — 137만 파라미터로 이미지에 문장 붙이기, 그리고 3편의 버그가 여기엔 없던 이유

  CNN 인코더와 트랜스포머 디코더를 이어 붙여 Fashion-MNIST 이미지에 캡션을 다는 모델을 만들었습니다. 137만 파라미터, 10분 학습으로 라벨 적중률 91%가 나왔습니다. 인코더-디코더 구조에서 cross-attention이 무엇을 하는지, 그리고 3편에서 정확도를 7.5%로 떨어뜨렸던 EOS 버그가 왜 이 코드에는 없었는지를 두 함수를 나란히 놓고 확인합니다.

  2026-08-22 · 12 분 읽기 #ai#captioning#multimodal#transformer#pytorch

• 모두를 위한 AI 3편 — 손실 0.0017인데 정확도 7.5%, 범인은 패딩 한 칸이었다

  이미지와 질문을 함께 받아 답하는 VQA 모델을 148만 파라미터로 만들었습니다. 학습 손실은 0.0017까지 떨어졌는데 정확도는 7.5%였습니다. 무작위보다 나쁜 수치였죠. 원인은 모델이 아니라 정답을 만드는 코드 한 줄이었고, 고치자 99.5%가 됐습니다. 왜 낮은 손실이 좋은 모델을 보장하지 않는지, 그리고 그 함정을 어떻게 알아채는지를 실제 출력으로 확인합니다.

  2026-08-21 · 14 분 읽기 #ai#vqa#multimodal#debugging#pytorch

• 비전과 멀티모달: 이미지 이해, OCR, VLM 고르기

  비전 모델은 하나의 범주가 아닙니다. 대화형 VLM, OCR 전용, 문서 구조화, 이미지 검색용 임베딩은 서로 다른 물건이고 대체되지 않습니다. 이 글은 2026-08-12에 확인한 각 범주의 오픈 모델 카드 값을 정리하고, 해상도와 다중 이미지 처리 같은 실제 제약, 그리고 카드가 명시한 금지 용도를 함께 다룹니다. 오픈 모델 가이드 시리즈 6편입니다.

  2026-08-12 · 13 분 읽기 #ai#huggingface#open-source-llm#vision-language-model#ocr

• 이미지 생성·이해 기술 리포트, 무엇을 읽을 것인가 — 샘플 이미지 대신 설계를 읽기

  이미지 생성과 이해 기술 리포트 열한 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. 정류 흐름 트랜스포머와 VAR, Emu3, SANA, Janus-Pro, FLUX.1 Kontext, Qwen-Image 계열, Seedream 4.0, Z-Image와 Mage-Flow, InternVL3, 그리고 평가 쪽 Qwen-Image-Bench까지 각각 무엇을 새로 했고 저자들이 어떤 한

  2026-08-12 · 14 분 읽기 #ai-papers#paper-review#technical-report#image-generation#diffusion-transformer

• 텍스트·이미지·에이전트를 각각 어떻게 재는가 — 세 영역의 측정이 근본적으로 다른 이유 ♪ 들을 수 있어요

  텍스트·이미지·에이전트는 같은 "성능"이라는 단어를 쓰지만 측정 구조가 전혀 다릅니다. 텍스트는 정답이 있는 척하는 객관식과 정답이 없는 생성형으로 갈라지고, 이미지는 분포 거리와 사람 판단이 어긋나며, 에이전트는 부분 성공·환경 상태·비결정성 때문에 애초에 하나의 숫자로 압축되지 않습니다. 이 글은 각 영역의 대표 지표가 실제로 계산하는 값을 정의 수준에서 뜯어보고, 영역마다 "지표는 높은

  2026-08-02 · 37 분 읽기 #llm-evaluation#multimodal#llm-as-judge#agent-benchmark#metrics

• Vision LLM 아키텍처 — 이미지가 언어가 되기까지 ♪ 들을 수 있어요

  비전-언어 모델은 이미지를 비전 인코더로 처리한 뒤 프로젝터를 거쳐 LLM이 이해할 수 있는 토큰으로 바꿉니다. 패치 임베딩부터 임의 해상도 처리까지, 이미지가 언어 토큰이 되는 전 과정을 구조적으로 살펴봅니다.

  2026-06-26 · 41 분 읽기 #llm#vision-language-model#multimodal#vit#qwen2-vl

• 멀티모달 토크나이제이션과 융합 — 이미지·오디오를 토큰으로

  이미지와 오디오, 비디오를 어떻게 토큰으로 바꾸고 텍스트와 하나의 시퀀스로 엮는지 정리합니다. 패치·VQ 기반 이미지 토큰화, 이산 코덱 오디오 토큰화, 프레임 샘플링, 인터리빙과 구분 토큰, 토큰 폭증과 압축, 컨텍스트 비용까지 멀티모달 LLM의 입력 구성을 깊이 다룹니다.

  2026-06-26 · 30 분 읽기 #llm#multimodal#tokenization#vision-language#q-former

• Vision LLM 학습법 — input과 output을 어떻게 가르치나 ♪ 들을 수 있어요

  비전-언어 모델은 정렬 사전학습부터 인스트럭션 파인튜닝까지 단계적으로 학습됩니다. 비전 인코더 동결 전략, 데이터 구성, 입력 포맷과 출력 형태, 손실 계산까지 무엇을 어떻게 가르치는지 학습 파이프라인 관점에서 정리합니다.

  2026-06-26 · 35 분 읽기 #mlops#vision-language-model#multimodal#training#instruction-tuning

• 멀티모달 LLM 서빙 — 이미지 입력이 만드는 새로운 과제

  텍스트 전용 LLM 서빙과 무엇이 다른지부터, 비전 인코더 추가 단계, 가변 비주얼 토큰 수, 프리필 비용 급증, 멀티모달 KV 캐시와 배칭의 난점, 지연 분해와 처리량 최적화, 비용과 운영 함정까지 멀티모달 LLM 서빙의 실무를 정리합니다.

  2026-06-26 · 30 분 읽기 #mlops#multimodal#llm-serving#vllm#kv-cache

• 멀티모달 AI 학습법 — 여러 감각을 하나의 모델로

  이미지·텍스트·오디오·비디오를 하나의 모델로 다루는 멀티모달 AI의 학습 원리를 정리합니다. 모달리티 정렬과 대조학습, 융합 방식, 공유 임베딩 공간, 사전학습과 파인튜닝, 데이터와 평가, 그리고 환각 같은 한계까지 학습 파이프라인을 코드와 함께 살펴봅니다.

  2026-06-26 · 34 분 읽기 #ai-papers#multimodal#clip#vision-language#contrastive-learning

• OCR을 넘어서 — OCR-free 문서 이해와 통합 모델 ♪ 들을 수 있어요

  전통적인 OCR 파이프라인은 검출-인식-레이아웃을 단계로 나누지만 오류가 누적됩니다. Donut류와 VLM 기반의 OCR-free 문서 이해, 고해상도와 표 처리, 통합 모델의 흐름까지 문서 AI의 전환을 정리합니다.

  2026-06-26 · 40 분 읽기 #ai-papers#ocr-free#document-understanding#multimodal#donut

• 비전-언어 모델(VLM) 2026 완벽 가이드 - CLIP · LLaVA · InternVL3 · Qwen2.5-VL · GPT-4o · Gemini 2.5 · Claude 4.7 · DINOv2 · SAM 2 · Florence-2 심층 분석

  2026년 5월 기준 비전-언어 모델(VLM)의 모든 것을 한 글에 담는다. CLIP 계열(SigLIP, EVA-CLIP)부터 오픈 VLM(LLaVA-NeXT, InternVL3, Qwen2.5-VL, Pixtral, Molmo, Idefics3, MiniCPM-V), 폐쇄형(GPT-4o, Claude 4.7, Gemini 2.5), 비전 파운데이션(DINOv2/v3, SAM 2, Flore

  2026-05-16 · 34 분 읽기 #vision-language-models#vlm#clip#llava#internvl

• 멀티모달 LLM 완전 가이드: Vision, 문서 이해, OCR, 비디오, 오디오, 한국어 특수성 (2025)

  텍스트만 다루던 시대가 끝났다. 2025년 LLM은 이미지·문서·영상·오디오를 자연스럽게 처리한다. GPT-4o/Claude 3.5/Gemini/Qwen2-VL/Pixtral 비교, Document AI와 레이아웃 이해, OCR의 현대화, 비디오·오디오, 한국어 문서 특수성, 그리고 멀티모달 RAG까지. 실전 케이스로 정리한 한 편.

  2026-04-15 · 19 분 읽기 #multimodal#vision-llm#document-ai#ocr#whisper

• Gemini 2.5 개발자 실전 가이드: Pro, Flash, Flash-Lite를 어떻게 고를까

  2025년 3월 25일 공개된 Gemini 2.5를 기준으로, Pro, Flash, Flash-Lite 중 무엇을 선택해야 하는지, reasoning 모델이 워크플로를 어떻게 바꾸는지, 그리고 팀이 실제로 무엇을 배포해야 하는지를 실무 관점에서 정리합니다.

  2026-04-12 · 11 분 읽기 #google#gemini#gemini-2-5#coding#agentic-coding

• 2025년 AI 논문 트렌딩 총정리: HuggingFace 인기 논문부터 10대 연구 트렌드까지 ♪ 들을 수 있어요

  HuggingFace 트렌딩 논문 TOP 10과 2025년 AI 연구 10대 트렌드를 개발자 관점에서 리뷰합니다. DeepSeek-R1의 순수 RL 추론, Nemotron-Cascade 30B/3B MoE, GRPO, vLLM PagedAttention, 100만 토큰 컨텍스트의 한계, 비디오 생성 벤치마크까지.

  2026-03-21 · 67 분 읽기 #ai-research#papers#huggingface#reasoning#moe

• 멀티모달 AI 완전 정복: CLIP, LLaVA, GPT-4V, Gemini Vision 마스터하기 ♪ 들을 수 있어요

  멀티모달 AI의 기초부터 최신 비전-언어 모델까지 완전히 마스터하는 가이드. CLIP, BLIP-2, LLaVA, InstructBLIP, GPT-4V, Gemini Vision, Claude Vision 활용법과 멀티모달 RAG까지 실전 코드로 배웁니다.

  2026-03-17 · 41 분 읽기 #multimodal#vision-language#clip#llava#gpt-4v

• LLM 멀티모달 비전-언어 모델 서빙과 최적화 실전 가이드

  비전-언어 모델(VLM)의 서빙 아키텍처 설계부터 vLLM 멀티모달 배포, 이미지 전처리 파이프라인, 양자화 최적화, 프로덕션 운영까지 실전 가이드.

  2026-03-05 · 24 분 읽기 #llm#multimodal#vlm#vllm#2026-03