Der Anthropic-Ingenieur, der den KI-Agenten vertrauenswürdig hält

Was passiert ist

Wenn man der Logik nicht trauen kann, sagt er, dann kann man keine verlässlichen Aussagen über das Verhalten treffen, und das hat reale Sicherheitsimplikationen. Wer sich schon einmal gefragt hat, wie Claude und ähnliche KI-Agenten (KI, die mehrstufige Aufgaben ausführt, statt nur eine einzelne Frage zu beantworten) komplexe Fragen in Sekunden beantworten und woher sie die Informationen nehmen, ist nicht allein.

Gurmeet Saran arbeitet jeden Tag daran, genau diese Antwort zu finden, als Ingenieur bei Anthropic in San Francisco, dem KI-Forschungsunternehmen hinter Claude. Das IEEE-Senior-Member entwickelt eine Infrastruktur, um die Mechanismen hinter dem Verhalten des Chatbots zu verstehen und sicherzustellen, dass seine zugrunde liegende Architektur verlässliche Ergebnisse liefert. Anthropic ist ein Unternehmen für künstliche Intelligenz mit Sitz in San Francisco, dessen Produkte und Dienste unter anderem Claude und Claude Code umfassen.

Sicherheit hat bei Anthropic Priorität, sagt er. Laut dem Leitbild von Claude will das Unternehmen, dass der KI-Agent „wirklich hilfreich für die Menschen ist, mit denen oder in deren Auftrag er arbeitet, ebenso wie für die Gesellschaft, und dabei Handlungen vermeidet, die unsicher, unethisch oder täuschend sind.“