90 % günstiger, gleiche Leistung: Der unaufhaltsame Siegeszug der Open-Source-Coding-KIs

Die öffentliche Wahrnehmung von KI-Coding-Modellen wird stark von den großen, proprietären Modellen von Anthropic, OpenAI oder auch Google geprägt. Während Modelle wie Anthropics Claude Opus oder OpenAIs Codex oft in den Himmel gelobt werden, rücken quantifizierte Ergebnisse leicht in den Hintergrund.

Viele Entwickler sind daher skeptisch, ob Open-Source-Modelle im Bereich der Code-Generierung ähnliche Leistungen erbringen können wie ihre Pendants der Tech-Giganten. Diese Skepsis ist jedoch unbegründet und wird von namhaften Benchmarks wie dem SWE-bench eindeutig widerlegt.

Der SWE-bench Verified im Detail

Schauen wir uns den SWE-bench Verified genauer an: Dieser Benchmark testet offene und geschlossene Modelle automatisiert hinsichtlich ihrer Leistungsfähigkeit, reale GitHub-Issues zu bearbeiten.

• Echte Praxisnähe: Insgesamt enthält dieser Benchmark 500 manuell ausgewählte Issues aus den unterschiedlichsten Open-Source-Projekten. Das bedeutet: Keine simplen „Hello World“-Projekte, sondern echte Softwareprojekte mit realen Herausforderungen.
• Faire Bedingungen: In einer minimalistischen, isolierten agenten-basierten Umgebung müssen die Modelle diese Issues automatisiert lösen und einen fertigen Pull Request (PR) erzeugen.

Auf dieser Basis hat jedes Modell die exakt gleichen Voraussetzungen und kann innerhalb einer völlig unabhängigen Umgebung fair getestet werden.

Die Ergebnisse: Spitzenleistung zu einem Bruchteil der Kosten

Die Ergebnisse zeigen deutlich: State-of-the-Art-Open-Source-Modelle erreichen im Vergleich zu proprietären Modellen absolute Spitzenleistungen und das bei wesentlich geringeren Kosten pro Issue.

Ein klarer Sieger in diesem Vergleich ist das Modell MiniMax M2.5.

Während der aktuelle Spitzenreiter des Leaderboards, Claude Opus 4.5, 76,8 % aller Issues erfolgreich löst, landet MiniMax M2.5 gemeinsam mit Gemini 3 Flash mit 75,8 % auf einem starken geteilten zweiten Platz. Das ist ein Leistungsunterschied von gerade einmal 1 %.

Noch drastischer fällt der Unterschied bei den Kosten aus:

• Claude Opus 4.5: ø 0,75 $ pro Issue
• MiniMax M2.5: ø 0,07 $ pro Issue

Das entspricht einer Kostenersparnis von rund 90 % bei einem minimalen Leistungsrückgang von nur 1 % im Vergleich zu Claude Opus.

Unsere Vision bei KI-Dach

Wir von KI-Dach sind der festen Überzeugung, dass dieser Trend nicht nachlassen wird. Open-Source-Modelle werden auch in Zukunft vergleichbare oder sogar bessere Ergebnisse als proprietäre Modelle erzielen.

Daher setzen wir zu 100 % auf Open-Source-Modelle, betrieben auf europäischer Hardware und völlig ohne US-Hyperscaler. Unsere KI-Coding-Agenten für Issue-Automatisierung und KI-Code-Reviews werden aktuell von MiniMax M2.5 angetrieben und erreichen dadurch State-of-the-Art-Ergebnisse.

Überzeugen Sie sich selbst: Jetzt Demo-Termin vereinbaren oder kostenlos testen unter ki-dach.de.