태그: #load-balancing

← 전체 글

• MoE 라우팅 — 전문가는 어떻게 뽑히는가

  전문가 혼합 계층의 config 필드를 실제 모델로 읽습니다. Mixtral의 8개 중 2개, Qwen3의 128개 중 8개, DeepSeek-V3의 256개 라우팅 전문가와 공유 전문가, Kimi K2의 희소도 48을 비교하고, 활성 파라미터와 전체 파라미터가 왜 다른 비용을 만드는지, 로드 밸런싱 손실과 보조 손실 없는 편향 방식이 무엇을 맞바꾸는지 정리합니다.

  2026-08-12 · 11 분 읽기 #ai-papers#model-internals#mixture-of-experts#moe#routing

• HAProxy Ingress Controller — 검증된 LB의 쿠버네티스 진입 ♪ 들을 수 있어요

  20년 넘게 검증된 로드밸런서 HAProxy가 쿠버네티스 인그레스 컨트롤러로 들어오는 방식을 정리합니다. 공식 haproxytech 프로젝트와 커뮤니티 jcmoraisjr 프로젝트의 차이, 아키텍처와 동적 reload, TCP/TLS passthrough, rate limit과 ACL, Helm 배포 실습, 그리고 Gateway API로의 전환 흐름까지 실무 깊이로 다룹니다.

  2026-06-14 · 35 분 읽기 #haproxy#ingress#kubernetes#load-balancing#networking

• Consistent Hashing 완전 가이드 2025: 가상 노드, Jump Hash, Rendezvous, 분산 시스템의 핵심 빌딩 블록

  DynamoDB, Cassandra, Memcached가 노드 추가/제거 시 데이터 이동을 최소화하는 비밀, Consistent Hashing을 완전 정복한다. 기본 아이디어부터 가상 노드(vnode), Jump Hash, Rendezvous Hashing, 실전 구현까지 700줄로 깊이 있게 다룬다.

  2026-04-15 · 26 분 읽기 #consistent-hashing#distributed-systems#sharding#virtual-nodes#jump-hash

• API Gateway 완전 가이드 2025: Kong, Envoy, AWS API Gateway, 인증/레이트리밋/모니터링 ♪ 들을 수 있어요

  API Gateway의 모든 것! Kong vs Envoy vs AWS API Gateway vs Traefik 비교, 라우팅/인증(OAuth2/JWT/API Key), 레이트 리밋(Token Bucket/Sliding Window), 요청 변환, 캐싱, 모니터링, 카나리 배포, GraphQL Gateway, API 버저닝 전략.

  2026-04-14 · 37 분 읽기 #api-gateway#kong#envoy#aws-api-gateway#rate-limiting

• 시스템 디자인 면접 완전 가이드 2025: 대규모 시스템 설계, 확장성, 가용성 패턴

  시스템 디자인 면접의 모든 것! 4단계 프레임워크, 확장성(수평/수직), 로드 밸런싱, 캐싱(Redis/CDN), DB 샤딩, CAP 정리, 메시지 큐, 실전 설계(URL Shortener/Twitter/Netflix/채팅), 면접 팁.

  2026-03-25 · 34 분 읽기 #system-design#scalability#availability#load-balancing#caching

• LiteLLM 완전 가이드 2025: 100+ LLM을 하나의 API로 통합하는 프록시 서버

  LiteLLM의 모든 것! 100+ LLM 통합 API, OpenAI 호환 프록시 서버, 비용 추적/예산 관리, 로드 밸런싱/폴백, 모델 라우팅, 가상 키, 레이트 리밋, Guardrails, 프로덕션 배포(Docker/K8s).

  2026-03-25 · 26 분 읽기 #litellm#llm#api#proxy#openai

• Nginx 완전 가이드 2025: 리버스 프록시, 로드 밸런싱, SSL, 캐싱부터 보안까지

  Nginx의 모든 것! 이벤트 드리븐 아키텍처, 리버스 프록시 설정, 로드 밸런싱(Round Robin/Least Conn/IP Hash), SSL/TLS 설정, 캐싱, Rate Limiting, WebSocket, Docker/K8s 연동까지.

  2026-03-24 · 25 분 읽기 #nginx#reverse-proxy#load-balancing#ssl#caching

• 이중화·삼중화 완전 가이드 — 99.999% 가용성의 비밀

  서버 이중화부터 삼중화, Active-Standby, Active-Active, N+1, 스플릿 브레인, 쿼럼까지. 99.9%와 99.999%의 차이가 연간 다운타임 8시간 vs 5분인 이유를 실전 아키텍처로 설명합니다.

  2026-03-02 · 11 분 읽기 #architecture#high-availability#redundancy#failover#load-balancing

• Nginx 설정 완벽 가이드: 아키텍처부터 프로덕션 최적화까지 15가지 핵심 주제 ♪ 들을 수 있어요

  Nginx의 이벤트 기반 아키텍처와 설정 구조부터 리버스 프록시, 로드 밸런싱, SSL/TLS, 캐싱, Rate Limiting, 보안 헤더, 성능 튜닝, 헬스체크까지 — 프로덕션 환경에서 즉시 활용 가능한 15가지 핵심 설정을 실전 예제와 함께 완벽하게 정리한다.

  2026-03-01 · 44 분 읽기 #nginx#reverse-proxy#load-balancing#ssl#tls