测试时计算
了解这个术语
在频道材料中,**测试时计算(test-time compute)**意味着模型在使用时刻所做的工作——即在阅读和生成答案时消耗的计算能力,而不是在模型训练期间消耗的计算能力。这与聊天机器人的实时体验相符:写作系统的价值来自每次提问时完成的理解和生成工作。
它在材料中的呈现方式
频道的写作视频将该概念付诸实践。在“WATCH MY WRITING PROCESS LIVE WITH CHATGPT FOR WORK”中,Dan Schipper 实时起草了一篇长文,使用 ChatGPT 语音模式进行编辑、事实核查、头脑风暴和重写——所有这些工作都是模型在响应时完成的,而不是提前完成的。在“WATCH ME WRITE LIVE WITH CHATGPT VOICE”中,作家现场直播了大约两个小时的 Codex 历史写作,将 AI 助手的调研、草拟、隐喻构建和编辑融合在一个流中。在这两种情况下,工作价值都来自于实时消耗的模型计算——即推理阶段——的智能,这使得 live drafting(实时草拟)成为实际意义上的测试时计算。
- 测试时计算是在推理时(当模型回答你时)消耗的计算能力,与训练期间消耗的计算能力相反。- 在频道的现场写作会议中,它是立即可见的:ChatGPT 语音模式在起草过程中进行实时编辑、事实核查、头脑风暴和重写。- 更高的响应质量来自于将更多模型工作分配给当下——这也是作者将模型视为思考伙伴而不是预打包答案的一部分原因。