火山方舟文档新增「上下文缓存」能力

为什么重要

上下文缓存是降低大模型推理成本的关键技术。火山方舟将其作为进阶能力推出，有助于提升其在价格敏感型企业和高频调用场景中的竞争力，推动大模型API服务向更精细化、低成本的方向发展。

影响对象

影响频繁调用大模型API且包含大量固定前缀或系统提示词的开发者和企业用户。他们可以通过该功能减少重复计算，从而降低API调用成本和延迟。

证据说明

原文直接证明火山方舟文档的「进阶使用」部分新增了「上下文缓存」功能，其作用是缓存固定上下文、减少重复计算开销并降低成本。

不确定性

原文未提及该功能的具体计费方式、支持的模型范围、缓存命中率要求以及相比未缓存状态的具体成本降低比例。