WORLDTECH人工智能
Property Finder发现其视觉AI标签中96.8%来自现有模型
Property Finder发现，其视觉AI评估标签中有96.8%是从现有模型继承而来，掩盖了该模型的真实准确率。本文介绍了他们如何构建无偏见的基准真值、应用进化式提示优化，并在Amazon Bedrock上选定了一个更准确、更具成本效益的模型，在11项图像质量属性上将成本降低了86%。 数字房地产应用Property Finder的工程团队发现，其96.8%的评估标签直接继承自单一模型的预测结果，而非经过人工专家验证。这些标签也存在错误，但真正阻碍客观模型比较的是这种偏差。 他们的基准真值系统性地偏向现有模型，使得其他所有模型看起来都表现不佳。他们是在将视觉AI工作负载迁移到Amazon Bedrock上一个更具成本效益的选项时发现这一问题的。 Property Finder每天在中东和北非（MENA）地区处理数以万计的房产图片。其系统对每张图片评估11项质量属性。 这意味着每天有数千条新房源，平均每条有15张图片。Property Finder需要一个更具成本效益的选项。 但以这些标签为标准衡量，任何替代方案都处于劣势。最难的部分并不是找到更好的模型。
