Evals: Come capire se il tuo software AI funziona davvero

Il problema

1. Sviluppiamo il nostro software
2. Testiamo, rilasciamo
3. Il cliente segnala inesattezze

Software "classico"

Deterministico

Dato un input si ottiene sempre lo stesso output.

2 + 2 -> 4

Software AI

Probabilistico

Dato un input possiamo ottenere output diversi o parzialmente corretti.

"Dato il testo seguente, individua i luoghi citati [...]"
-> Catania, CT | Misterbianco, CT

Cosa sono le evals

Un modo strutturato per misurare la qualità di un sistema AI su casi rappresentativi.

Cosa non sono

• non garantiscono che il sistema sia perfetto
• non sostituiscono review, logging e monitoraggio
• aiutano a prendere decisioni migliori

Come funzionano

1. si definisce un dataset di casi rappresentativi
2. si aggiunge la risposta attesa (golden)
3. si esegue il software su quei casi
4. si confronta l'output con la risposta attesa

Esempio: intent classification

Esempio: risultato

Accuracy: 2 / 3 = 66%

Rendere misurabile la qualità

• Misurare lo stato attuale
• Decidere una soglia accettabile
• Confrontare prompt, modelli e modifiche

Cosa valutare

• Accuracy: quanti casi corretti sul totale
• Precision: quando il sistema dice "sì", quanto spesso ha ragione
• Recall: quanti dei casi importanti riesce a trovare

Come valutare

• exact match -> risultato == <valore atteso>
• fuzzy match -> tollera piccole differenze testuali
• vector similarity -> misura somiglianza semantica
• LLM-as-judge -> valuta equivalenza o altro con un LLM

Comporre il golden dataset

• Si può partire con 100/300 casi rappresentativi
• Si può costruire a mano: spesso è il modo migliore per iniziare
• Includere casi facili, ambigui e casi che non vogliamo rompere

Quando usare le eval?

• Parti più importanti dell'applicazione
• Dati usati come contesto per altri prompt
• Workflow dove un errore costa tempo, fiducia o denaro

Takeaway

• Eval permettono di rilasciare avendo metriche di qualità
• Confrontare modelli, prompt e modifiche
• Individuare regressioni prima degli utenti

Da dove partire

• Non servono librerie particolari
• Uno script è abbastanza per iniziare
• L'obiettivo è testare il comportamento del software, non solo il prompt

Fine