WORLDTECHAmazon fordert Ingenieure auf, KI-Werkzeuge am Ergebnis zu messen, nicht am Token-Verbrauch
Laut TechSpot hat Amazon seine Richtlinien für Ingenieure überarbeitet und warnt davor, den Token-Verbrauch bei KI-Werkzeugen als Maßstab für Leistung zu nehmen. Künftig sollen die Tools danach beurteilt werden, welche Software sie zur Auslieferung beitragen.
Was die überarbeiteten Richtlinien vorgeben
Die überarbeiteten Engineering-Richtlinien mahnen, KI-Einführung, Token-Verbrauch, Codeänderungen und Code-Reviews nicht als Leistungsziele heranzuziehen. Führungskräfte sollen diese Zahlen gemeinsam mit anderen Indikatoren betrachten und nicht isoliert.
Das Unternehmen empfiehlt, Teams an beiden Enden der Nutzungskurve zu prüfen. Eine geringe Nutzung kann darauf hindeuten, dass Ingenieure Chancen verpassen, ihre Arbeit zu verbessern. Ein hoher Verbrauch wiederum sollte die Frage aufwerfen, ob die Auslieferung so weit besser wird, dass sie ihn rechtfertigt. Nach dem Bericht entscheidet keine der beiden Zahlen für sich allein.
Tokenmaxxing und die frühere Rangliste
Die Richtlinie richtet sich gegen Tokenmaxxing, das gezielte Aufblähen des KI-Verbrauchs, um auf internen Dashboards produktiv zu erscheinen. Früher in diesem Jahr nutzten Mitarbeiter MeshClaw, einen internen KI-Agenten, der mehrstufige Aufgaben ausführt, Code bereitstellen und mit Slack interagieren kann, um ihre Token-Zahlen zu erhöhen.
Amazon schloss im Mai eine interne Rangliste, nachdem Mitarbeiter die Platzierungen manipuliert hatten, wie derselbe Bericht schreibt.
Was Amazon nach eigenen Angaben nicht tut
Amazon erklärt, dass es keine Obergrenzen für den Token-Verbrauch der Mitarbeiter eingeführt hat. Die Richtlinie lässt außerdem Raum für den Schluss, dass sich eine bestimmte Aufgabe nicht von den verfügbaren Werkzeugen profitieren lässt.
Offene Fragen
- Wird Amazon offenlegen, wie es Auslieferungskennzahlen gegen Token-Zahlen gewichtet?
- Folgen auf die Schließung der Rangliste weitere Änderungen bei der Erfassung der KI-Nutzung?