Claude verliert: Neuer Coding Benchmark macht Mogeln unmöglich
Ein neuer Coding Benchmark sorgt für deutliche Unterschiede zwischen den führenden KI Modellen. An der Spitze liegt derzeit GPT 5.5 mit einer Erfolgsquote von 70 Prozent. Dahinter folgen GPT 5.4 mit 56 Prozent und Claude Opus 4.7 von Anthropic mit 54 Prozent. Googles Gemini 3.5 Flash kommt auf 28 Prozent.
Der Test zeigt auch Unterschiede im Verhalten der Modelle. Die Claude Familie vergisst bei mehrteiligen Prompts offenbar häufiger einzelne Anforderungen und erfüllt dann nur einen Teil der Aufgabe. GPT Modelle halten sich dagegen sehr genau an die Vorgaben. Stärkere KI Modelle prüfen ihre Arbeit zudem öfter selbst mit neuen Tests. DeepSWE soll Entwicklern dadurch eine bessere Grundlage für die Auswahl des passenden Modells bieten.
