WORLDTECHProperty Finder entdeckt, dass Bildmodell-Labels vom Altmodell stammen
Property Finder, eine digitale Immobilienanwendung, stellte fest, dass 96,8 Prozent seiner Bewertungslabels aus den Vorhersagen eines einzigen Modells übernommen und nicht von menschlichen Experten geprüft worden waren. Entdeckt wurde dies, als das Ingenieurteam seine Bild-KI-Anwendung auf eine kostengünstigere Option auf Amazon Bedrock umstellte.
Labels spiegelten das bisherige Modell
Nach Angaben des Unternehmens neigte die Grundwahrheit systematisch zum bisherigen Modell, sodass jede Alternative schwächer wirkte, als sie womöglich war. Die Labels enthielten zudem Fehler, doch laut dem Team war die Schieflage das eigentliche Hindernis für einen objektiven Vergleich.
Das Problem lag also in der Bewertungsmethode und nicht in der Suche nach einem besseren Modell. Nach dieser Methode wurde jede Alternative an Labels gemessen, die das bereits eingesetzte Modell begünstigten.
Umfang der Bildverarbeitung
Property Finder verarbeitet täglich zehntausende Immobilienbilder in der Region Naher Osten und Nordafrika. Das System bewertet pro Bild 11 Qualitätsmerkmale, und die Last entspricht Tausenden neuen Inseraten mit durchschnittlich 15 Bildern je Inserat.
Für diese Last brauchte das Unternehmen eine günstigere Option, konnte Alternativen jedoch nicht fair beurteilen, solange die Labels das bisherige Modell bevorzugten.
Neuaufbau der Bewertungsschleife
Das Property-Finder-Team und das Generative AI Innovation Center von AWS setzten auf Amazon Bedrock eine Schleife zur Prompt-Optimierung ein, um die Klassifikationsgenauigkeit zu erhöhen. Das Modell liefert für jedes Immobilienbild die vorhergesagten Merkmale als JSON; diese Vorhersagen werden mit Micro F1 gegen einen Entwicklungsdatensatz aus 256 von Experten annotierten Bildern bewertet.
Die Fehleranalyse fehlgeschlagener Bilder prägt jede neue Prompt-Version, und die Schleife lief von v0 bis v27. KI-Assistenten halfen beim Verfeinern der Prompts, spätere Versionen stützten sich auf automatisierte Optimierung. Laut der Organisation ergab der Ansatz ein genaueres und günstigeres Modell, dessen Kosten über die 11 Bildqualitätsmerkmale um 86 Prozent sanken.
Offene Fragen
- Wie groß war der Genauigkeitsunterschied zwischen dem bisherigen und dem ausgewählten Modell?
- Wird die neu aufgebaute Grundwahrheit auch auf andere Arbeitslasten von Property Finder angewendet?