태그: #accelerators
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
엣지 AI와 NPU — 온디바이스 추론 가속기 ♪ 들을 수 있어요
추론을 클라우드가 아니라 기기에서 직접 돌리는 엣지 AI의 이유(지연·프라이버시·비용)와, 이를 가능케 하는 NPU의 개념을 정리합니다. Apple Neural Engine, Qualcomm, Edge TPU, ARM Ethos부터 모델 경량화, 온디바이스 LLM, 런타임(TFLite/ONNX/CoreML), 클라우드-엣지 하이브리드까지 개발자 시작 가이드를 담았습니다.
2026-06-16 · 42 분 읽기 #edge-ai#npu#on-device#inference#quantization