WORLDTECH NEWS 全球科技资讯。联系我们
人工智能 单一来源

英伟达研究人员认为超大AI上下文窗口是死胡同

由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English

Close-up of two NVIDIA RTX 2080 graphics cards with dual fans, high-performance hardware.
示意图片。图片:Nana Dua / Pexels

事件经过

英伟达研究人员认为,语言模型往往并不需要完整的上下文窗口——这类窗口速度慢、成本高,还容易出错——并提出了一种替代方案。该团队甚至提议开发一类新模型,用简短笔记代替长上下文进行工作。英伟达是一家总部位于圣克拉拉的半导体公司。

GPT-4于2023年3月推出时,上下文窗口为8192个词元。在测试中,定期摘要和有针对性的关键词搜索,通常能以极低的成本达到与完整上下文相当的结果。

英伟达的一个研究团队表示,这往往是过度设计且成本高昂的。在许多测试中,定期摘要和有针对性的查找效果大体相当。语言模型的上下文窗口(即模型一次可以考虑的文本量)相当于它的工作记忆,涵盖了生成回复时所能看到的全部内容。

关键事实

  • 该团队甚至提议开发一类新模型,用简短笔记代替长上下文进行工作

来源与证据