标签: #prompt-caching
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 5 篇
带有 #prompt-caching 标签的文章共 5 篇，最新一篇发布于 2026-07-31。
常一起出现的标签: #cost-optimization 3 #llm 3 #2026-04 2 #ai 2 #openai 2
近 90 天阅读最多的文章:
GPT-5.6 与性价比的极限 — 如何在曲线上找到自己负载的位置 ♪ 可收听
OpenAI 在 2026 年 7 月 30 日把 GPT-5.6 Luna 降价 80%、Terra 降价 20%。距离 7 月 9 日正式发布只有三周，而最顶端的 Sol 价格不变。Luna 从每 100 万 token 输入 1 美元、输出 6 美元，变成输入 0.20 美元、输出 1.20 美元。本文不介绍降价幅度，而是计算这条曲线 — 降价后三个档位的单价比在两个轴上都恰好锁定为 25 比 10 比 1，因此在同一系列内部 t
2026-07-31 · 17 分钟阅读 #ai#llm#openai#inference-cost#prompt-cachingLLM API 成本优化 — 输出 token、prompt caching 与路由的盈亏平衡计算 ♪ 可收听
把 LLM API 账单砍掉一半靠的是算术，不是感觉。由于输出 token 的单价是输入的数倍，最大的杠杆几乎总是控制输出长度，其次才是 prompt caching。本文整理了缓存只命中前缀这一约束如何强制决定提示的排列顺序、RAG 与全文塞入的盈亏平衡点在哪里、模型路由的节省公式以及随之而来的精度损失该如何用同一把尺子衡量，并给出模拟月度成本的代码，以及 token 估算与实际账单对不上的五个原因。
2026-07-26 · 17 分钟阅读 #llm#cost-optimization#prompt-caching#rag#model-routingLLM API 成本如何真正降下来 — 「缓存 90% 折扣」到了账单上为什么只有 25% ♪ 可收听
提示词缓存的缓存读取只有输入价格的十分之一。但这并不会把账单砍掉 90%。照着 Anthropic 放在自家文档里的计算示例走一遍：即便缓存完全命中，总额也只是从 0.705 美元降到 0.525 美元，减少 25.5%。原因很简单 — 折扣只按该项目在账单中的花钱比例缩减账单，而输出 token 已经吃掉了成本的 60%。所以本文不罗列折扣率，而是直接把账单算出来。缓存的盈亏平衡点(要读几次才回本)、缓存完全不生效的最小 token
2026-07-17 · 32 分钟阅读 #llm#cost-optimization#prompt-caching#api#aiGPT-5 开发者实战指南：智能体编程、工具调用与成本优化 ♪ 可收听
本文以 2025 年 8 月 7 日发布的 GPT-5 为基准，从实务角度梳理开发者需要做出哪些改变、该如何选择模型规模与控制参数，以及如何把智能体编程与成本优化放在一起设计。
2026-04-12 · 13 分钟阅读 #openai#gpt-5#coding#agentic-coding#tool-use提示词缓存实战指南：让 Agent 应用的成本与延迟一起降下来 ♪ 可收听
梳理为什么提示词缓存在 Agent 应用里很重要、OpenAI 与 Anthropic 的差异、提示词结构化模式、ROI 判断方法、常见错误，以及迁移清单，全部从实务角度整理。
2026-04-12 · 13 分钟阅读 #prompt-caching#latency#cost-optimization#ai-agent#llmops