Googles neuer KI Benchmark prüft Baupläne und Tabellen
Google DeepMind und Artificial Analysis haben den Multimodal Knowledge Agent vorgestellt, einen Benchmark für KI Agenten, die Baupläne, Schaltbilder und andere visuell komplexe Dateien auswerten und daraus Berichte, Präsentationen oder Tabellen erstellen sollen. Für den Test wurden 200 Aufgaben aus zehn Branchen entwickelt, an denen Fachleute aus 83 Berufen beteiligt waren.
Die Auswertung gewichtet die fachliche Richtigkeit mit 75 Prozent und die Gestaltung mit 25 Prozent. Ein KI Bewerter prüft dabei unter anderem Seitenlayout und Tabellenformeln. Nach einer Gegenprüfung durch Fachleute stimmten die Bewertungen in 96 Prozent der Fälle überein.
Im Vergleich liegt Gemini 4 Carbon mit 54,3 Prozent hinter Claude Fable 5.2, das auf 56,6 Prozent kommt. Gemini 4 Carbon kostet pro Aufgabe im Schnitt 5,63 Dollar, deutlich weniger als Claude Fable 5.2 mit 35,28 Dollar. Zehn Beispielaufgaben hat Google auf Hugging Face veröffentlicht.
