标签: #비전 모델 읽기 3
用亲手运行、亲手测量的数据来写 Kubernetes、DevOps 与 MLOps · 8 篇
带有 #비전 모델 읽기 3 标签的文章共 8 篇,最新一篇发布于 2026-10-15。
常一起出现的标签: #비전 모델 8 #실시간 8 #TT Score 5 #BF16 1 #Clipper 1
近 90 天阅读最多的文章:
TT Score 实时路径的实际预算表——每一毫秒花在了哪里,还有什么尚未测量
本系列的最后一篇文章将前七篇文章的内容应用到了 TT Lab 相机记分牌的实际运行路径中。当手机以 30fps 发送 512×288 的 JPEG 图像时,服务器会对其进行解码和归一化,通过 3 帧的窗口运行球体模型,寻找球体团块,经过反弹和裁判规则计算出得分。在实验 GPU 上,服务器端的一帧大约为 19ms(推理 15.2ms),单个会话中运营操作员的往返时间(p50)为 24–28ms。然而,用户所感受到的“拉力赛(Rally)结
2026-10-15 · 9 分钟阅读 #비전 모델#실시간#지연 예산#TT Score#탁구在手机与浏览器中运行:WebGPU、WASM、WebNN、Core ML 与何时何地使用它们
如果模型不是在服务器上运行,而是在用户的手机上运行,网络往返和服务器成本就会消失,视频也不会离开设备。取而代之的是,你必须承担电池、发热以及不同设备性能各异的问题。我们通过第一手资料确认了以下各项的定义以及当前的标准化和支持状态:在浏览器中利用 GPU 的 WebGPU、加速 CPU 的 WebAssembly(SIMD·线程)、调用设备神经网络加速器的 WebNN,以及苹果设备的 Core ML。正如 TensorFlow.js 论文
2026-10-15 · 13 分钟阅读 #비전 모델#실시간#기기 안 추론#WebGPU#WebAssembly批处理与延迟:批次大小、并发会话、GPU 共享
服务器推理的一个老生常谈的技巧是“将请求打包(批处理)一次性运行可以更好地利用 GPU”。我们依次研究了 Clipper 的自适应批处理、Clockwork 的“每次一个”、Triton 的动态批处理程序以及 Kubernetes 的 GPU 时间切片,并用我们自己的球体模型进行了直接测量。在实验用的笔记本 GPU 上,512×288 的输入随着批次的增加,每秒处理的窗口数反而减少了(FP16 批次 1 时每秒 102 个 → 批次 1
2026-10-15 · 12 分钟阅读 #비전 모델#실시간#배치#동적 배치#GPU 공유切勿每帧都运行:检测+追踪、关键帧、分辨率、ROI — 以及寻球的 512×288
如果无法让模型更快,就可以让它跑得更少、范围更小。我们来看一些设计方案:如 SORT 和 MediaPipe 般进行偶尔的高成本检测并用轻量追踪填补间隙的方案,利用光流复用关键帧特征的 Deep Feature Flow,每帧选择输入大小的 AdaScale,以及只关注预测位置的 ROI。并且,我们模拟了这些方法在乒乓球这类既小又快速变向的物体上失效的场景。每 3 帧检测一次并用匀速填补间隙时,边界和击球前后的位置误差 p95 扩大到了
2026-10-15 · 14 分钟阅读 #비전 모델#실시간#추적#칼만 필터#키프레임打造小模型:深度可分离卷积、剪枝、蒸馏,以及 EfficientTAM
如果降低精度并交给编译器优化仍不够用,我们就必须把模型本身做小。本文将探讨把卷积拆分为空间视角(3×3 深度)和通道混合(1×1)的 MobileNet,同时提升深度、宽度和分辨率的 EfficientNet,将权重归零的剪枝,以及让小模型模仿大模型输出的蒸馏。在笔记本电脑 CPU 上的实测显示,深度可分离卷积将乘加运算减少了 8.4 倍,但时间仅缩短了 1.6 倍;而将 90% 的权重随意归零的剪枝在稠密乘法下耗时保持不变,若转换为稀
2026-10-15 · 17 分钟阅读 #비전 모델#실시간#MobileNet#EfficientNet#가지치기图编译器与运行时:算子融合、torch.compile、ONNX Runtime 与 TensorRT
相同的模型、相同的权重、相同的 GPU,仅改变执行方式就能提速一倍。Python 逐个将算子下发到 GPU 的 eager 模式会在内存中反复读写每个算子的大张量。图编译器则会全局审视整个模型并合并(融合)算子,从而消除这种往返开销。本文整理了 TVM 与 PyTorch 2 论文中的数据、ONNX、ONNX Runtime 及 TensorRT 的角色,并在我们的球体模型上应用了 torch.compile。在实验 GPU 上,FP1
2026-10-15 · 13 分钟阅读 #비전 모델#실시간#연산 융합#torch.compile#ONNX缩减数值:FP16、BF16、INT8 量化,后量化与量化感知训练,校准数据
训练时使用 32 位浮点数(FP32),但推理也可以使用 16 位或 8 位整数。减少位数可以减少内存移动,并能使用专用的计算单元,从而加快速度。我们将探讨 FP16 和 BF16 如何分配范围和精度、INT8 将实数对齐到刻度的公式 r = S(q − Z)、训练后仅测量范围的后量化(PTQ)、在训练期间模拟量化的 QAT 以及确定范围的校准数据,并结合论文中的数据进行分析。在我们自己的球体模型上直接测量发现,FP16 在实验 GPU
2026-10-15 · 18 分钟阅读 #비전 모델#실시간#FP16#BF16#INT833ms 的预算:端到端延迟与吞吐量是不同的指标
“实时”并不意味着模型速度快,而是指从相机拍摄的瞬间到屏幕显示结果为止的整个过程在既定的预算之内。对于 30fps 来说,一帧的时间为 33.3ms,其中必须包含捕获、缩放、编码、传输、解码、推理、后处理以及渲染的全过程。为什么端到端延迟和吞吐量是不同的数字,为什么在堆积延迟时排队会导致延迟无限增大(在推理耗时 36ms 的情况下,排队会导致中位延迟达 2 秒,而仅处理最新帧则为 48ms),我们将通过模拟来观察;同时,我们也将了解 S
2026-10-15 · 10 分钟阅读 #비전 모델#실시간#지연#처리량#스트리밍 인식