태그: #cost
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 6 편
#cost 태그가 붙은 글은 6편이고, 가장 최근 글은 2026-08-14에 올라왔습니다.
함께 자주 붙은 태그: #llm 3 #observability 3 #ai-gateway 1 #arc-agi 1 #benchmark 1
최근 90일 동안 많이 읽힌 글:
트레이스가 비용이 될 때 — Langfuse의 보존, 샘플링, 마스킹
트레이싱은 트래픽이 적을 때는 공짜처럼 보이다가 어느 순간 저장 비용과 개인정보 문제로 되돌아옵니다. 이 글은 Langfuse에서 양이 비용으로 바뀌는 지점을 네 곳으로 나눠 정리하고, 공식 문서 기준으로 샘플링이 trace 단위로 결정된다는 사실과 그것이 실무에서 무엇을 뜻하는지, 파이썬과 JS 각각의 마스킹 방식이 데이터를 어느 시점에 가리는지를 확인합니다. 보존 정책의 기본값이 삭제하지
2026-08-14 · 17 분 읽기 #observability#langfuse#cost#sampling#data-retention추론 강도는 모델 선택이 아니라 요청 단위 배포 파라미터입니다
ARC Prize가 공개한 DeepSeek V4 Flash 0731 결과 페이지에는 점수가 하나가 아니라 추론 강도별로 세 개 실려 있습니다. 이 글은 그 세 숫자에서 실제로 읽어 낼 수 있는 것을 계산합니다. 같은 강도 상향이 쉬운 벤치마크에서는 5퍼센트포인트를, 어려운 벤치마크에서는 15퍼센트포인트를 사 준다는 사실과, 그렇다면 강도를 모델 설정이 아니라 요청마다 결정하는 값으로 다뤄야
2026-08-09 · 14 분 읽기 #llm#benchmark#arc-agi#inference#cost코딩 에이전트 비용은 한도로 잡는 게 아니라 마찰로 잡습니다
Databricks가 2026년 7월과 8월에 연달아 공개한 두 편의 엔지니어링 글은 코딩 에이전트 지출을 다루는 방식이 예산 한도에서 게이트웨이와 점진적 마찰로 옮겨 가고 있음을 보여 줍니다. 이 글은 그 설계를 뜯어봅니다. 왜 하드 예산이 마지막 수단인지, 일일 폭주 방지와 월간 거버넌스를 왜 분리하는지, 증분 하나의 크기가 왜 설계의 전부인지, 그리고 실제로 비용을 지배하는 항목이 왜
2026-08-09 · 15 분 읽기 #mlops#llm#cost#ai-gateway#developer-productivity100배 싸다는 주장은 과제를 좁혔을 때만 참입니다 — 검증과 손익분기
2026년 8월에 공개된 한 사례 글은 40억 파라미터급 오픈 모델을 강화학습으로 후학습해 검색 과제에서 프론티어 모델과 맞먹으면서 요청당 비용은 자릿수 단위로 낮췄다고 밝힙니다. 이 글은 그 주장을 소개하는 대신 검증합니다. 원문에서 실제로 확인되는 숫자와 확인되지 않는 숫자를 구분하고, 좁은 과제에서만 성립하는 조건이 무엇인지 정리하며, 후학습이 라우팅보다 유리해지는 손익분기를 직접 계산
2026-08-09 · 14 분 읽기 #llm#cost#fine-tuning#retrieval#open-models로그를 검색 가능하게, 그리고 파산하지 않게 — 구조화, 매핑 폭발, 보존, 그리고 진짜 비용
로그 비용이 컴퓨트 비용을 넘어서는 시점은 대부분의 조직에 옵니다. 그 시점을 늦추는 것은 압축률이 아니라 무엇을 필드로 만들 것인가에 대한 결정입니다. 구조화 로그의 필드 설계부터 OpenSearch 매핑 폭발이 실제로 클러스터를 죽이는 경로, 인덱스 템플릿과 ISM 으로 수명주기를 통제하는 방법, 원칙 있는 샘플링과 보존 계층을 다룹니다. 마지막으로 로그로 메트릭을 흉내 낼 때 드는 비용
2026-08-02 · 24 분 읽기 #observability#logging#opensearch#elasticsearch#cost관측 데이터를 ClickHouse에 넣는다는 것 — 스키마, 롤업, TTL, 그리고 역할 분담
트레이스와 로그가 하루 수 TB로 늘어나면 검색 엔진이나 시계열 DB 하나로 버티기 어려워집니다. ClickHouse 가 관측 데이터에 잘 맞는 이유를 컬럼 저장과 압축, 정렬 키의 관점에서 정리하고 트레이스와 로그 테이블을 실제 DDL 로 설계합니다. 속성을 Map 으로 둘 것인지 JSON 타입으로 둘 것인지의 판단 기준, 머티리얼라이즈드 뷰로 롤업을 만드는 방법, 파티셔닝과 TTL 로 비
2026-08-02 · 25 분 읽기 #observability#clickhouse#opentelemetry#data-modeling#cost