（来源：上观新闻）
3）时间效率🇭🇰 核心指标定义：😥🇵🇫Token吞吐👨👦🇹🇹国产婷婷一区二区量（Tok🕯ens per🇦🇴 seco🛒nd，TP😆💉S）、首T⛴oke🍊🔒n延迟（Tim🥠e To F🕯⬛irs🇺🇲t To🐳🆕ken，⛴TTFT）、每T🇨🇺oken生成时间💉🏪（Tim🏩e Per O👨❤️👨💌utpu🏧🇳🇨t Token🤒，TP👅OT）🎣🐍。
一方面，每😒生成一个to🐸ken，GPU🇨🇮🌴都需要🇵🇰从内存中读😊🤑取历史KV缓存🚤👩👩👦👦和模型📓🧟♂️权重，并写回新👙♊的状态；另📠一方面🍯，KV缓存会随着😟🔯上下文长度线性增🌜长，并在🐬多用户场景下成☑倍叠加🚵。
而那些功能强大⚪↕但运行缓慢👩🦲的AI服务，可能🈺就存在着类🚐👩🦰似研究⛷中发现的效率问题🕧。“我很少见到一🇲🇨😠个地方经济这😠么发达，同时人民🌃📔还如此🍿松弛🇺🇬。
