xingkaixin.me/tags/大模型

Tag archive

#大模型

2 篇 · 按时间倒序

2023 年我判断中国大模型没戏，三年后我发现少写了一个期限

中国大模型在 2023 年看起来很难追上，三年后，“没戏”的判断已经站不住。长期预测最容易漏掉期限，也低估了系统改变趋势的能力。

KV Cache：为什么 AI 回复越来越快？

KV Cache 是大模型能快速响应长对话的核心机制：将历史内容的中间计算结果缓存起来，避免每次生成新词都重新计算所有上文，以显存空间换取时间，同时大幅降低 API 调用成本。