Come confrontiamo i prodotti di intelligenza artificiale

In breve

Questa pagina descrive esattamente come sono fatti i confronti del sito. È stata pubblicata prima di qualsiasi classifica e ogni classifica ne discende in modo meccanico: nessuno, né le persone né l'intelligenza artificiale che realizzano il sito, sceglie vincitori o cambia l'ordine secondo la propria opinione. Gli stessi criteri valgono per ogni fornitore.

Che cosa confrontiamo

I piani, gratuiti e a pagamento, che una persona privata può sottoscrivere per prodotti di intelligenza artificiale di quattro gruppi: chatbot, agenti, generazione di immagini e generazione di video. Un piano compare in un gruppo quando la pagina del fornitore lo offre per quell'uso.

Quali fornitori: ogni organizzazione che ha almeno un modello nella classifica Arena del gruppo (la stessa usata per la qualità) e che vende, con il proprio nome, un piano che una persona privata in Italia può sottoscrivere secondo le pagine dell'organizzazione stessa. Non c'è una soglia di posizione e nessun fornitore viene aggiunto o escluso a mano. Le organizzazioni senza un piano di questo tipo, per esempio i laboratori di ricerca che pubblicano solo modelli, non compaiono.

Qualità: la classifica di Arena

Per la qualità usiamo una sola fonte: la classifica pubblica di Arena (arena.ai, in precedenza LMArena), dove le persone confrontano due risposte anonime e votano la migliore. Arena pubblica le sue classifiche come dataset aperto con licenza CC BY 4.0.

Per ogni gruppo usiamo la classifica «overall» corrispondente: chatbot – testo con controllo dello stile (text_style_control); agenti – agent; immagini – text_to_image; video – text_to_video. Usiamo solo una classifica che Arena ha pubblicato negli ultimi 30 giorni.

Abbiamo scelto Arena perché copre tutti e quattro i gruppi, pubblica i risultati con una licenza che ne consente l'uso su un sito commerciale e non è uno dei fornitori confrontati. Il punteggio di Arena misura quali risposte le persone hanno preferito, non se sono corrette: è una misura pubblica e diffusa, non un giudizio definitivo.

Quale modello offre un piano

I modelli inclusi in un piano sono quelli indicati dalle pagine del fornitore. Il nome scritto dal fornitore, in minuscolo e con trattini al posto degli spazi, deve coincidere con un nome Arena; se nessun nome coincide, con un nome Arena senza il suffisso di configurazione. Sono suffissi di configurazione, in fondo al nome: livelli di ragionamento (-minimal, -low, -medium, -high, -xhigh, -max, anche seguiti da un budget come -32k), -thinking (anche con budget), -preview e qualsiasi indicazione tra parentesi, come «(xHigh)». Date, -instruct e -chat fanno parte del nome. Se più varianti Arena corrispondono allo stesso nome, contiamo quella con il rango peggiore, perché la pagina non dice quale configurazione usa il piano. Se nessuna variante corrisponde, o le pagine del fornitore si contraddicono, il piano compare con «nessun punteggio Arena».

La qualità di un piano è quella del suo modello migliore in classifica: il rango Arena più basso e, a parità di rango, il punteggio più alto.

Ordine

In ogni gruppo i piani sono ordinati così: 1) rango Arena del modello migliore, dal migliore; i piani senza punteggio Arena vengono dopo tutti gli altri; 2) a parità, punteggio Arena, dal più alto; 3) a parità di tutto il resto, ordine alfabetico del codice del piano. L'ultima regola separa solo piani uguali in tutto il resto e non dice nulla sulla qualità. Il prezzo per ora non entra nell'ordine (vedi «Prezzi e limiti d'uso»).

Etichette

Usiamo solo due etichette, calcolate in ogni gruppo: «Primo in classifica» per ogni piano il cui modello migliore ha il miglior rango Arena del gruppo; «Miglior piano gratuito» per il piano gratuito con il miglior rango Arena. Non usiamo altre etichette, voti o aggettivi sulla qualità, salvo i punti di forza e di debolezza calcolati come descritto sotto.

Punti di forza e di debolezza

Per i chatbot, Arena pubblica oltre alla classifica generale classifiche per singoli compiti. Ne usiamo sette: scrittura creativa, programmazione, matematica, seguire le istruzioni, conversazioni lunghe, domande difficili e tedesco. Per ogni piano guardiamo lo stesso modello che decide il suo posto nell'ordine, con lo stesso nome Arena.

«Forte in» un compito significa che quel modello ha un rango Arena da 1 a 10 nella classifica del compito; «più debole in» significa un rango peggiore di 30. Con un rango da 11 a 30, o se il modello non compare nella classifica del compito, non diciamo nulla. Le soglie sono le stesse per ogni prodotto e non dipendono dal fornitore; un piano senza punteggio Arena non riceve punti di forza né di debolezza.

Prezzi e limiti d'uso

Per ora non mostriamo i prezzi. I fornitori mostrano i prezzi in base al paese di chi visita la pagina, e il computer che costruisce questo sito si trova fuori dall'Italia: non può leggere né verificare il prezzo per l'Italia. Ogni piano ha invece un link alla pagina dei prezzi del fornitore. Un piano è indicato come gratuito solo quando la pagina del fornitore lo offre senza costi.

I limiti d'uso (per esempio il numero di messaggi o di immagini) sono citati alla lettera dalla pagina del fornitore, con il link. Non entrano nell'ordine, perché i fornitori li esprimono in unità diverse che non si possono confrontare in modo meccanico.

Dati aggiornati o assenti

Ogni elenco di modelli, limite e indicazione «gratuito» riporta la pagina da cui è stato letto, la data di lettura e una scadenza di al massimo 30 giorni. Il sito non può essere pubblicato con un dato scaduto: il dato viene ricontrollato o tolto, mai mostrato superato.

Quando un dato manca lo diciamo («nessun punteggio Arena»). Un piano senza punteggio Arena non riceve etichette e viene dopo i piani con punteggio; non stimiamo mai un dato mancante.

Link di affiliazione

Alcuni link ai fornitori possono essere link di affiliazione: se acquisti tramite essi, questo sito può ricevere una commissione, senza costi aggiuntivi per te. Sono indicati come tali dove compaiono. Il codice che calcola l'ordine non può sapere se un piano ha un link di affiliazione, e un test automatico lo verifica.

Chi realizza il sito

Il codice e i testi di questo sito sono scritti con l'aiuto di Claude, un modello di intelligenza artificiale di Anthropic. Anthropic vende Claude, uno dei prodotti confrontati qui. Per questo il metodo è fissato in anticipo e applicato in modo meccanico, ogni dato sui prodotti di Anthropic è letto da pagine pubblicate come per ogni altro fornitore, e ogni modifica a questa pagina richiede l'approvazione del titolare del sito.

Fornitori con link di affiliazione

Nessuno al momento.