标签: #gpu-kernel
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 2 篇
编写核函数的三个层次 — 用同一个问题比较 CUDA C++、Triton 与 CUTLASS ♪ 可收听
比较在编写同一个 GPU 核函数时，手写 CUDA C++、用 Python 按瓦片编写 Triton、用模板拼装 CUTLASS 与 CuTe 这三种方式各自带来的变化。我们实际用 CUDA C++ 和 Triton 分别编写一个按行 softmax 核函数，并排测量代码量与性能，并从编译流水线的层面解释这种差异从何而来。文章还具体说明了 Triton 为何成为自定义注意力核函数事实上的标准，以及 Triton 不擅长的具体领域。内容
2026-08-02 · 25 分钟阅读 #triton#cuda#cutlass#gpu-kernel#compiler亲手改一个 GPU kernel 到底意味着什么 —— 把一个转置 kernel 提速 5 倍 ♪ 可收听
从线程、warp、内存层级讲起，梳理亲手修改 GPU kernel 到底意味着什么。从 roofline 的视角解释为什么占用率是症状而不是目标，以及为什么大多数 kernel 受限于内存带宽而不是计算。把一个矩阵转置 kernel 从 naive 一路改到合并访问、共享内存分块、消除存储体冲突这四个阶段，并提供了在每个阶段实测有效带宽的基准测试工具。最后梳理了在 Nsight Compute 里具体该打开哪些 section、该看什么
2026-08-02 · 26 分钟阅读 #cuda#gpu-kernel#nsight-compute#memory-bandwidth#performance