태그: #langfuse

← 전체 글

• Langfuse SDK 계측 — 무엇이 자동으로 잡히고 무엇을 손으로 넣나

  트레이스를 만드는 일은 SDK를 설치하는 일이 아니라 경계를 긋는 일입니다. 이 글은 Langfuse 파이썬 SDK v4를 기준으로 데코레이터, 컨텍스트 매니저, 수동 생성 세 가지 계측 방식이 각각 무엇을 다르게 하는지 정리하고, 속성을 하위로 흘려보내는 propagateattributes가 왜 필요한지, OpenAI와 LangChain 같은 프레임워크 통합이 자동으로 잡아 주는 범위가 어

  2026-08-14 · 15 분 읽기 #observability#langfuse#llm-tracing#instrumentation#opentelemetry

• Langfuse가 트레이스를 ClickHouse에 두는 이유 — 저장 계층의 역할 분담

  Langfuse를 직접 띄워 보면 저장소가 하나가 아니라는 사실에 먼저 놀랍니다. ClickHouse, Postgres, Redis, 오브젝트 스토리지 네 가지가 각각 다른 몫을 맡습니다. 이 글은 공식 문서를 기준으로 각 저장소가 무엇을 담는지, 수집된 이벤트가 어떤 순서로 이 구성 요소들을 지나가는지, 큰 payload가 어디로 빠지는지를 정리합니다. 컬럼 지향 저장이 트레이스 분석 질의

  2026-08-14 · 20 분 읽기 #observability#langfuse#clickhouse#architecture#postgres

• Langfuse 자체 호스팅 — 배포 경로, 시크릿, 그리고 첫 기동에서 걸리는 것들

  Langfuse를 직접 운영하려면 컨테이너 두 개와 저장소 네 개를 동시에 세워야 합니다. 이 글은 공식 문서를 기준으로 docker compose 경로와 헬름 차트 경로를 각각 정리하고, 반드시 직접 만들어 넣어야 하는 시크릿이 무엇인지, Postgres와 ClickHouse의 연결 문자열이 왜 두 개씩 필요한지, 오브젝트 스토리지 설정에서 MinIO가 요구하는 옵션이 무엇인지를 짚습니다.

  2026-08-14 · 17 분 읽기 #observability#langfuse#self-hosting#docker-compose#kubernetes

• 트레이스가 비용이 될 때 — Langfuse의 보존, 샘플링, 마스킹

  트레이싱은 트래픽이 적을 때는 공짜처럼 보이다가 어느 순간 저장 비용과 개인정보 문제로 되돌아옵니다. 이 글은 Langfuse에서 양이 비용으로 바뀌는 지점을 네 곳으로 나눠 정리하고, 공식 문서 기준으로 샘플링이 trace 단위로 결정된다는 사실과 그것이 실무에서 무엇을 뜻하는지, 파이썬과 JS 각각의 마스킹 방식이 데이터를 어느 시점에 가리는지를 확인합니다. 보존 정책의 기본값이 삭제하지

  2026-08-14 · 17 분 읽기 #observability#langfuse#cost#sampling#data-retention

• Langfuse 트레이싱 데이터 모델 — trace, observation, score가 한 번의 실행을 담는 방식

  Langfuse 화면을 먼저 보면 무엇을 보고 있는지 알 수 없습니다. 이 글은 Langfuse가 수집하는 데이터의 형태부터 정리합니다. trace가 무엇을 묶고 observation이 span·generation·event로 갈리는 기준은 무엇인지, session과 user가 trace 위에 어떤 층으로 얹히는지, score가 어디에 붙는지를 공식 문서 기준으로 확인합니다. RAG 한 번의

  2026-08-14 · 15 분 읽기 #observability#langfuse#llm-tracing#data-modeling#opentelemetry

• 수집한 다음 — Langfuse 대시보드, 메트릭 API, 그리고 트레이스에 붙는 평가

  트레이스를 모으는 것과 그 트레이스로 답을 얻는 것은 다른 일입니다. 이 글은 Langfuse가 제공하는 지표 축이 무엇이고 그것을 어떤 차원으로 쪼개 봐야 하는지 정리한 뒤, 메트릭 API v2의 질의 구조를 실제 요청 형태로 확인합니다. v4에서 traces 뷰가 사라지고 observations 중심으로 재편된 변화, score가 trace·observation·session·데이터셋 실

  2026-08-14 · 17 분 읽기 #observability#langfuse#llm-evaluation#metrics-api#dashboard

• LLM 관찰성 & 프롬프트 도구 2026 — Helicone / LangSmith / Langfuse / Braintrust / Athina / Comet Opik / Portkey 심층 비교 ♪ 들을 수 있어요

  2026년의 LLM ops 지도. Helicone (YC) · LangSmith (LangChain) · Langfuse (오픈소스 Series A) · W&B Weave · Arize Phoenix · Braintrust · Athina · Comet Opik (2025년 3월 출시) · Vellum · PromptHub · Portkey AI Gateway · TruLens · Ragas

  2026-05-16 · 36 분 읽기 #llm-observability#prompt-engineering#helicone#langsmith#langchain

• LLM 평가 & 관측성 완전 가이드: Eval Harness, LLM-as-Judge, Tracing, 회귀 방지 (2025)

  모델을 바꿨더니 더 좋아진 것 "같다"는 주장은 과학이 아니다. 2025년 LLM 제품의 실패 원인 1위는 "측정 안 함". Eval harness 설계, LLM-as-judge 함정과 보정, Trace·Span·Metric 3층 관측성, 프로덕션 피드백 루프, Phoenix·LangSmith·LangFuse·Helicone 비교까지. 평가를 제품 개발의 근간으로 세우는 법.

  2026-04-15 · 19 분 읽기 #llm-eval#observability#llm-judge#distributed-tracing#langsmith

• LLM 프로덕션 모니터링 플랫폼 비교: LangSmith·LangFuse·Arize Phoenix 실전 운영 가이드

  LLM 프로덕션 모니터링 플랫폼 3종(LangSmith, LangFuse, Arize Phoenix) 종합 비교 가이드. 트레이스 수집, 프롬프트 버전 관리, 평가 파이프라인, 비용 모니터링, 품질 대시보드 구성, 그리고 실전 선택 기준까지 코드 예제와 함께 다룹니다.

  2026-03-09 · 34 분 읽기 #ai-platform#llm-monitoring#langsmith#langfuse#arize