人工智能 单一来源
Cmpnd发布dspy-wsp:权重空间编程进入DSPy
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
Cmpnd发布了dspy-wsp,这是一个用于权重空间编程的DSPy优化器原型。
Cmpnd已发布dspy-wsp,这是一个将权重空间编程引入DSPy的优化器原型。 规模:在参数量从0.6B到9B的开放决策模型上进行了测试。
前沿大语言模型(即基于文本训练、生成文本的AI系统)读取一个小模型的权重,在沙盒中对其进行编辑,并测试每一处改动,无需梯度,每次运行成本约为5到10美元。权重空间编程是一种技术,即由前沿大语言模型读取另一个模型的权重并直接对其进行编辑。
这里没有梯度,没有训练循环,也没有微调(即在现有模型基础上进行更窄任务的进一步训练)数据集。dspy-wsp将其封装为WeightSpace,这是一个可接入任何DSPy程序和评估指标的优化器。
在Cmpnd的测试中,约5到10美元的GPT-6-Astra调用使他们尝试的每个决策模型都得到了改进。简要概括:这是一个DSPy优化器(WeightSpace),由一个编写者大语言模型编辑学生模型的权重。
采用MIT许可证,可通过pip install dspy-wsp安装,需要DSPy 3.5。一次25轮的运行只编辑了单个层或注意力头。