Wie wir KI-Produkte vergleichen

Kurz gesagt

Diese Seite beschreibt genau, wie die Vergleiche dieser Website entstehen. Sie wurde vor jeder Rangliste veröffentlicht, und jede Rangliste folgt mechanisch aus ihr: Niemand, weder die Menschen noch die KI, die die Website erstellen, wählt Sieger aus oder ändert die Reihenfolge nach eigener Meinung. Für alle Anbieter gelten dieselben Kriterien.

Was wir vergleichen

Die kostenlosen und kostenpflichtigen Tarife, die eine Privatperson für KI-Produkte aus vier Gruppen abschließen kann: Chatbots, Agenten, Bildgenerierung und Videogenerierung. Ein Tarif erscheint in einer Gruppe, wenn die Seite des Anbieters ihn für diesen Zweck anbietet.

Welche Anbieter: jede Organisation, die mindestens ein Modell in der Arena-Rangliste der Gruppe hat (derselben, die für die Qualität verwendet wird) und unter eigenem Namen einen Tarif verkauft, den eine Privatperson in Italien laut den Seiten der Organisation abschließen kann. Es gibt keine Platzierungsschwelle, und kein Anbieter wird von Hand hinzugefügt oder ausgeschlossen. Organisationen ohne einen solchen Tarif, etwa Forschungslabore, die nur Modelle veröffentlichen, erscheinen nicht.

Qualität: die Arena-Rangliste

Für die Qualität nutzen wir eine einzige Quelle: die öffentliche Rangliste von Arena (arena.ai, früher LMArena), auf der Menschen zwei anonyme Antworten vergleichen und für die bessere stimmen. Arena veröffentlicht seine Ranglisten als offenen Datensatz unter der Lizenz CC BY 4.0.

Für jede Gruppe verwenden wir die passende Gesamtrangliste („overall“): Chatbots – Text mit Stilkontrolle (text_style_control); Agenten – agent; Bilder – text_to_image; Videos – text_to_video. Wir verwenden nur eine Rangliste, die Arena in den letzten 30 Tagen veröffentlicht hat.

Wir haben Arena gewählt, weil es alle vier Gruppen abdeckt, seine Ergebnisse unter einer Lizenz veröffentlicht, die die Nutzung auf einer kommerziellen Website erlaubt, und selbst keiner der verglichenen Anbieter ist. Der Arena-Wert misst, welche Antworten Menschen bevorzugt haben, nicht ob sie richtig sind: ein öffentliches, verbreitetes Maß, kein endgültiges Urteil.

Welches Modell ein Tarif bietet

Die in einem Tarif enthaltenen Modelle sind die, die die Seiten des Anbieters nennen. Der vom Anbieter geschriebene Name muss, kleingeschrieben und mit Bindestrichen statt Leerzeichen, einem Arena-Namen entsprechen; entspricht er keinem, einem Arena-Namen ohne Konfigurationszusatz. Konfigurationszusätze am Ende des Namens sind: Denkstufen (-minimal, -low, -medium, -high, -xhigh, -max, auch gefolgt von einem Budget wie -32k), -thinking (auch mit Budget), -preview und jede Angabe in Klammern wie „(xHigh)“. Datumsangaben, -instruct und -chat gehören zum Namen. Passen mehrere Arena-Varianten zum selben Namen, zählt die mit dem schlechtesten Rang, weil die Seite nicht sagt, welche Konfiguration der Tarif verwendet. Passt keine Variante oder widersprechen sich die Seiten des Anbieters, erscheint der Tarif mit „kein Arena-Wert“.

Die Qualität eines Tarifs ist die seines besten Modells in der Rangliste: der niedrigste Arena-Rang und bei gleichem Rang der höchste Wert.

Reihenfolge

In jeder Gruppe werden die Tarife so geordnet: 1) Arena-Rang des besten Modells, bester zuerst; Tarife ohne Arena-Wert kommen nach allen anderen; 2) bei Gleichstand der Arena-Wert, höchster zuerst; 3) wenn alles andere gleich ist, alphabetisch nach dem Kürzel des Tarifs. Die letzte Regel trennt nur Tarife, die in allem anderen gleich sind, und sagt nichts über die Qualität aus. Der Preis fließt vorerst nicht in die Reihenfolge ein (siehe „Preise und Nutzungsgrenzen“).

Kennzeichnungen

Wir verwenden nur zwei Kennzeichnungen, in jeder Gruppe berechnet: „Ranglistenerster“ für jeden Tarif, dessen bestes Modell den besten Arena-Rang der Gruppe hat; „Bester kostenloser Tarif“ für den kostenlosen Tarif mit dem besten Arena-Rang. Andere Kennzeichnungen, Noten oder Qualitätsadjektive verwenden wir nicht, außer den unten beschriebenen, berechneten Stärken und Schwächen.

Stärken und Schwächen

Für Chatbots veröffentlicht Arena neben der Gesamtrangliste Ranglisten für einzelne Aufgaben. Wir verwenden sieben davon: kreatives Schreiben, Programmieren, Mathematik, Anweisungen befolgen, lange Gespräche, schwierige Fragen und Deutsch. Für jeden Tarif betrachten wir dasselbe Modell, das seinen Platz in der Reihenfolge bestimmt, mit demselben Arena-Namen.

„Stark bei“ einer Aufgabe heißt, dass dieses Modell in der Rangliste der Aufgabe Arena-Rang 1 bis 10 hat; „schwächer bei“ heißt ein Rang schlechter als 30. Bei Rang 11 bis 30, oder wenn das Modell in der Rangliste der Aufgabe fehlt, sagen wir nichts. Die Schwellen sind für jedes Produkt gleich und hängen nicht vom Anbieter ab; ein Tarif ohne Arena-Wert bekommt weder Stärken noch Schwächen.

Preise und Nutzungsgrenzen

Vorerst zeigen wir keine Preise. Die Anbieter zeigen Preise je nach Land der Besucher an, und der Rechner, der diese Website erstellt, steht außerhalb Italiens: Er kann den Preis für Italien weder lesen noch prüfen. Stattdessen hat jeder Tarif einen Link zur Preisseite des Anbieters. Ein Tarif gilt nur dann als kostenlos, wenn die Seite des Anbieters ihn ohne Kosten anbietet.

Nutzungsgrenzen (etwa die Zahl der Nachrichten oder Bilder) werden wörtlich von der Seite des Anbieters zitiert, mit Link. Sie fließen nicht in die Reihenfolge ein, weil die Anbieter sie in unterschiedlichen Einheiten angeben, die sich nicht mechanisch vergleichen lassen.

Aktuelle oder fehlende Daten

Jede Modellliste, jede Grenze und jede Angabe „kostenlos“ nennt die Seite, von der sie gelesen wurde, das Lesedatum und ein Ablaufdatum von höchstens 30 Tagen. Die Website kann mit einer abgelaufenen Angabe nicht veröffentlicht werden: Die Angabe wird neu geprüft oder entfernt, nie veraltet angezeigt.

Fehlt eine Angabe, sagen wir es („kein Arena-Wert“). Ein Tarif ohne Arena-Wert erhält keine Kennzeichnung und steht hinter den Tarifen mit Wert; fehlende Angaben schätzen wir nie.

Affiliate-Links

Einige Links zu Anbietern können Affiliate-Links sein: Wenn du darüber kaufst, kann diese Website eine Provision erhalten, ohne Mehrkosten für dich. Sie sind dort, wo sie erscheinen, als solche gekennzeichnet. Der Code, der die Reihenfolge berechnet, kann nicht erkennen, ob ein Tarif einen Affiliate-Link hat; ein automatischer Test prüft das.

Wer die Website erstellt

Code und Texte dieser Website werden mit Hilfe von Claude geschrieben, einem KI-Modell von Anthropic. Anthropic verkauft Claude, eines der hier verglichenen Produkte. Deshalb ist die Methode im Voraus festgelegt und wird mechanisch angewendet, jede Angabe zu Anthropics Produkten wird wie bei jedem anderen Anbieter aus veröffentlichten Seiten gelesen, und jede Änderung dieser Seite braucht die Zustimmung des Websitebetreibers.

Anbieter mit Affiliate-Links

Derzeit keine.