Property Finder发现其视觉AI标签中96.8%来自现有模型

由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English

首次报道 10月27日 16:53 UTC来源：AWS Machine Learning Blog最近编辑更新 10月27日 16:53 UTC发表评论 ↓

数字房地产应用Property Finder发现，其96.8%的评估标签是沿用某一模型的预测结果，而非由人类专家核验得出。该公司工程团队在将视觉AI工作负载迁移到Amazon Bedrock上一个更具成本效益的选项时发现了这一问题。

标签与现有模型如出一辙

这些标签由当前正在使用的模型生成，因此其“真值”偏向该模型，使得每一个替代方案都显得可能比实际更弱。标签中也存在错误，但真正阻碍客观比较的是这种偏差。

问题出在评估方法本身，而非寻找更优模型的过程。在该方法下，每个备选方案都是以偏向已部署模型的标签来评判的。

该公司每天在中东和北非地区处理数以万计的房源图片。其系统为每张图片评估11项质量属性，工作量相当于每月新增数千条房源，平均每条房源15张图片。

Property Finder需要为这一工作负载寻找更便宜的方案，但在标签偏向现有模型的情况下，它无法公平地评判备选方案。

Property Finder团队与AWS生成式AI创新中心在Amazon Bedrock上运行了一个提示词优化闭环，以提高分类准确率。模型会为每张房源图片以JSON格式返回预测属性，这些预测结果会与256张经专家标注的开发集图片进行Micro F1评分比对。

对失败图片的错误分析会指导每个新的提示词版本，该闭环从v0一直迭代到v27。AI助手协助完善提示词，后期版本则依赖自动化优化。据该机构称，这一方法得到了准确率更高、成本更具效益的模型，在11项图像质量属性上成本降低了86%。