태그: #llmops

← 전체 글

• Langfuse가 트레이스를 ClickHouse에 두는 이유 — 저장 계층의 역할 분담

  Langfuse를 직접 띄워 보면 저장소가 하나가 아니라는 사실에 먼저 놀랍니다. ClickHouse, Postgres, Redis, 오브젝트 스토리지 네 가지가 각각 다른 몫을 맡습니다. 이 글은 공식 문서를 기준으로 각 저장소가 무엇을 담는지, 수집된 이벤트가 어떤 순서로 이 구성 요소들을 지나가는지, 큰 payload가 어디로 빠지는지를 정리합니다. 컬럼 지향 저장이 트레이스 분석 질의

  2026-08-14 · 20 분 읽기 #observability#langfuse#clickhouse#architecture#postgres

• Langfuse 자체 호스팅 — 배포 경로, 시크릿, 그리고 첫 기동에서 걸리는 것들

  Langfuse를 직접 운영하려면 컨테이너 두 개와 저장소 네 개를 동시에 세워야 합니다. 이 글은 공식 문서를 기준으로 docker compose 경로와 헬름 차트 경로를 각각 정리하고, 반드시 직접 만들어 넣어야 하는 시크릿이 무엇인지, Postgres와 ClickHouse의 연결 문자열이 왜 두 개씩 필요한지, 오브젝트 스토리지 설정에서 MinIO가 요구하는 옵션이 무엇인지를 짚습니다.

  2026-08-14 · 17 분 읽기 #observability#langfuse#self-hosting#docker-compose#kubernetes

• Langfuse 트레이싱 데이터 모델 — trace, observation, score가 한 번의 실행을 담는 방식

  Langfuse 화면을 먼저 보면 무엇을 보고 있는지 알 수 없습니다. 이 글은 Langfuse가 수집하는 데이터의 형태부터 정리합니다. trace가 무엇을 묶고 observation이 span·generation·event로 갈리는 기준은 무엇인지, session과 user가 trace 위에 어떤 층으로 얹히는지, score가 어디에 붙는지를 공식 문서 기준으로 확인합니다. RAG 한 번의

  2026-08-14 · 15 분 읽기 #observability#langfuse#llm-tracing#data-modeling#opentelemetry

• 수집한 다음 — Langfuse 대시보드, 메트릭 API, 그리고 트레이스에 붙는 평가

  트레이스를 모으는 것과 그 트레이스로 답을 얻는 것은 다른 일입니다. 이 글은 Langfuse가 제공하는 지표 축이 무엇이고 그것을 어떤 차원으로 쪼개 봐야 하는지 정리한 뒤, 메트릭 API v2의 질의 구조를 실제 요청 형태로 확인합니다. v4에서 traces 뷰가 사라지고 observations 중심으로 재편된 변화, score가 trace·observation·session·데이터셋 실

  2026-08-14 · 17 분 읽기 #observability#langfuse#llm-evaluation#metrics-api#dashboard

• LLM Ops가 실제로 하는 일 — 재현, 오염, 체크포인트, 승격, 그리고 롤백

  LLM Ops를 도구 목록이 아니라 책임 목록으로 정리했습니다. 학습 실행을 다시 만들 수 있게 하는 실행 명세에 무엇이 들어가야 하는지, 평가 세트 오염을 어떻게 막고 감사하는지, 체크포인트 주기를 장애율에서 역산하는 공식과 보관 비용의 실제 숫자, 평가를 CI에 넣을 때 무엇을 게이트로 삼는지를 다룹니다. 후반부는 학습과 서빙 사이의 인수인계에서 실제로 깨지는 지점들과 배포 후 회귀 감지

  2026-08-02 · 23 분 읽기 #mlops#llmops#reproducibility#evaluation#model-registry

• LLMOps 완전 가이드: 모델·프롬프트·평가셋 3축 버전 관리, Canary, 비용 통제, 플랫폼 팀 (2025)

  LLM 제품을 빠르게 만드는 법은 쉬워졌다. 지속 가능하게 돌리는 법이 어렵다. 모델·프롬프트·평가셋의 3축 버전 관리, Shadow/Canary/Blue-Green 배포, 토큰·캐시·모델 라우팅으로 비용 통제, 조직 구조(AI 플랫폼/Model 플랫폼/Product AI), 실패 사례, KPI·온콜까지. MLOps의 연장선이되, LLM 고유의 과제를 정면으로 다루는 한 편.

  2026-04-15 · 15 분 읽기 #llmops#mlops#devops#canary#cost-control

• AI Engineering 프로덕션 실전 완전 가이드 — RAG·Evals·Fine-tuning·LLMOps·Guardrails·Prompt Caching·비용 최적화까지 2025-2026년 현장 노하우

  LLM을 프로토타입에서 프로덕션으로 가져가는 여정은 Jupyter 노트북의 데모와 다르다. RAG 파이프라인 설계, eval harness 구축, fine-tuning 결정 트리, LLMOps 관측 가능성, Guardrails와 안전성, Prompt Caching과 비용 최적화까지 2025-2026년 AI 엔지니어의 현장 가이드를 500줄로 정리한다.

  2026-04-15 · 20 분 읽기 #ai-engineering#llm#rag#evaluation#fine-tuning

• 프롬프트 캐싱 실전 가이드: 에이전트 앱의 비용과 지연 시간을 함께 줄이는 방법

  에이전트 애플리케이션에서 프롬프트 캐싱이 왜 중요한지, OpenAI와 Anthropic의 차이, 프롬프트 구조화 패턴, ROI 판단법, 흔한 실수, 마이그레이션 체크리스트까지 실무 관점에서 정리합니다.

  2026-04-12 · 16 분 읽기 #prompt-caching#latency#cost-optimization#ai-agent#llmops

• MLOps & 모델 라이프사이클 완전 정복: MLflow, DVC, LLMOps까지

  MLOps 성숙도 모델부터 MLflow 실험 추적, DVC 데이터 버전 관리, 피처 스토어, LLMOps까지 실전 ML 파이프라인 완전 가이드입니다.

  2026-03-17 · 26 분 읽기 #mlops#mlflow#dvc#llmops#피처스토어

• Gemini API를 프로덕션에 올릴 때 필요한 Prompt, Guardrails, Evaluation

  Gemini API를 실서비스에 붙일 때 필요한 프롬프트 설계, structured output, safety 정책, 평가 루프, 비용 통제 방법을 운영 관점에서 정리한 가이드입니다.

  2026-03-17 · 8 분 읽기 #gemini#generative-ai#ai#llmops#prompt-engineering

• LLMOps 플랫폼 구축 가이드: 모델 배포, 모니터링, A/B 테스트 실전 아키텍처

  LLMOps 플랫폼의 설계와 구현을 다룹니다. vLLM/TGI 기반 모델 서빙, 토큰 사용량/레이턴시/품질 모니터링, 프롬프트 버전 관리, A/B 테스트 프레임워크, 가드레일 통합까지 프로덕션 LLM 운영의 전체 라이프사이클을 코드와 함께 구축합니다.

  2026-03-13 · 23 분 읽기 #ai-platform#llmops#model-serving#monitoring#ab-testing

• Chatbot Tool Calling Guardrails 설계: 안전한 도구 호출 아키텍처 실전

  툴 콜링 챗봇을 프로덕션에서 안전하게 운영하기 위한 가드레일 설계를 정리한다. 스키마 검증, 권한 제어, 정책 엔진, 위험 점수, 관측/회귀 테스트까지 코드 중심으로 다룬다.

  2026-03-04 · 18 분 읽기 #chatbot#tool-calling#guardrails#ai-agent#security

• RAG 챗봇 평가 실전: 오프라인/온라인 품질 측정부터 프로덕션 가드레일까지

  RAG 챗봇을 실제 서비스에서 안정적으로 운영하기 위한 평가 체계를 정리한다. 오프라인 벤치마크, LLM-as-a-Judge, 온라인 실험, 알림 임계치, 회귀 방지 파이프라인까지 코드 중심으로 다룬다.

  2026-03-04 · 23 분 읽기 #chatbot#rag#evaluation#llmops#production