Neuer OpenAI-Benchmark prüft, wie gut Modelle bei komplexen Aufgaben der Wirkstoffforschung schlussfolgern

Was passiert ist
Fortgeschrittene Rechenmodelle können komplexe Molekülstrukturen mit hoher Genauigkeit rekonstruieren, die Vorhersage des Verhaltens möglicher Wirkstoffkandidaten bleibt jedoch eine Herausforderung, wie ein neuer, von OpenAI vorgestellter Benchmark für die medizinische Chemie zeigt. Im Denkmodus xhigh erzielte GPT-6 Astra (großes Sprachmodell von OpenAI) bei der Rekonstruktion von Molekülstrukturen 95,4 Prozent der verfügbaren Punkte. OpenAI ist ein Unternehmen für künstliche Intelligenz mit Sitz in San Francisco.
Bei der Auswahl von Verbindungen und der Vorhersage ihrer numerischen Eigenschaften erreichte das Modell jedoch nur etwa die Hälfte der verfügbaren Punkte. Die Bewertung mit dem Namen MedChemBench prüft, ob Modelle molekulare Strukturen mit experimentellen Belegen verknüpfen können, um Forschungsergebnisse zu erklären, Verbindungen zu vergleichen und deren Eigenschaften vorherzusagen.
Der Benchmark stützt sich auf 117 veröffentlichte Fachartikel und Patente und enthält 761 unterschiedliche Molekülstrukturen in 99 Aufgaben. Die Ergebnisse zeigen eine Lücke zwischen dem korrekten Erkennen chemischer Strukturen und dem Verständnis dafür, wie Veränderungen dieser Strukturen das Verhalten eines möglichen Wirkstoffs beeinflussen.