Metriche di una Matrice di Confusione nel Machine Learning: Accuracy, Precision, Recall e F1-Score

La matrice di confusione (confusion matrix) è un concetto centrale nell’ambito del machine learning, particolarmente utile per l’analisi delle prestazioni dei modelli di classificazione. Questo articolo esplora la struttura, il significato e l’applicazione pratica della matrice di confusione, illustrando come essa permetta di comprendere in profondità le capacità predittive di un modello, al di là delle semplici metriche di accuratezza. Verranno analizzati i componenti della matrice e discusse le principali metriche derivate, come precisione, recall, F1-score e specificità, che forniscono una visione più dettagliata e sfaccettata delle prestazioni di un modello. Infine, l’articolo discuterà alcune applicazioni pratiche della matrice di confusione in contesti reali, sottolineando la sua importanza come strumento di valutazione.

Introduzione

Negli ultimi anni, l’uso del machine learning è cresciuto esponenzialmente in vari settori, dalla medicina alla finanza, passando per la tecnologia e l’industria manifatturiera. Al centro di questo sviluppo vi è la capacità dei modelli di classificazione di prendere decisioni basate su grandi quantità di dati. Tuttavia, per valutare accuratamente l’efficacia di questi modelli, è necessario uno strumento che vada oltre le semplici percentuali di accuratezza. La matrice di confusione offre proprio questo: una visione dettagliata delle prestazioni di un modello, consentendo di identificare specifici errori e di comprendere meglio come migliorare le predizioni future.

Struttura della Matrice di Confusione

La matrice di confusione è una tabella che confronta le predizioni effettuate dal modello con le etichette reali dei dati. Per un problema di classificazione binaria, la matrice si presenta come una tabella 2×2, con i seguenti componenti:

• Vero Positivo (True Positive, TP): I casi in cui il modello ha correttamente identificato la classe positiva.
• Vero Negativo (True Negative, TN): I casi in cui il modello ha correttamente identificato la classe negativa.
• Falso Positivo (False Positive, FP): I casi in cui il modello ha erroneamente identificato una classe positiva quando la vera classe è negativa (conosciuto anche come errore di tipo I).
• Falso Negativo (False Negative, FN): I casi in cui il modello ha erroneamente identificato una classe negativa quando la vera classe è positiva (conosciuto anche come errore di tipo II).

Questa struttura semplice ma potente consente di analizzare in dettaglio il comportamento del modello in differenti scenari, mettendo in luce non solo la percentuale di predizioni corrette, ma anche la natura degli errori commessi.

I valori TP (True Positive), TN (True Negative), FP (False Positive) e FN (False Negative) si classificano in base al confronto tra le predizioni effettuate da un modello di classificazione e i valori reali delle etichette di un dataset. Questi valori sono fondamentali per capire come un modello di machine learning si comporta rispetto al compito di classificazione che gli è stato assegnato.

Classificazione dei Valori

1. True Positive (Vero Positivo, TP):
   • Definizione: Si ha un vero positivo quando il modello predice correttamente la classe positiva. In altre parole, il modello ha previsto che un’istanza appartenga alla classe positiva (ad esempio, “malato” in un test medico) e questa predizione è corretta, perché l’istanza appartiene effettivamente a quella classe.
   • Esempio: Il modello predice che un paziente ha una malattia, e il paziente ha effettivamente quella malattia.
2. True Negative (Vero Negativo, TN):
   • Definizione: Si ha un vero negativo quando il modello predice correttamente la classe negativa. Il modello ha previsto che un’istanza appartenga alla classe negativa (ad esempio, “sano” in un test medico) e questa predizione è corretta, perché l’istanza appartiene effettivamente alla classe negativa.
   • Esempio: Il modello predice che un paziente non ha una malattia, e il paziente non ha effettivamente quella malattia.
3. False Positive (Falso Positivo, FP):
   • Definizione: Si ha un falso positivo quando il modello predice erroneamente la classe positiva per un’istanza che in realtà appartiene alla classe negativa. In altre parole, il modello ha previsto che un’istanza appartenga alla classe positiva, ma in realtà appartiene alla classe negativa.
   • Esempio: Il modello predice che un paziente ha una malattia, ma in realtà il paziente è sano. Questo tipo di errore è anche noto come errore di tipo I.
4. False Negative (Falso Negativo, FN):
   • Definizione: Si ha un falso negativo quando il modello predice erroneamente la classe negativa per un’istanza che in realtà appartiene alla classe positiva. In altre parole, il modello ha previsto che un’istanza appartenga alla classe negativa, ma in realtà appartiene alla classe positiva.
   • Esempio: Il modello predice che un paziente non ha una malattia, ma in realtà il paziente è malato. Questo tipo di errore è anche noto come errore di tipo II.

Riepilogo della Classificazione

• TP (True Positive): Predizione corretta di un evento positivo.
• TN (True Negative): Predizione corretta di un evento negativo.
• FP (False Positive): Predizione errata di un evento positivo (l’evento era negativo).
• FN (False Negative): Predizione errata di un evento negativo (l’evento era positivo).

Questi valori vengono organizzati nella matrice di confusione e utilizzati per calcolare diverse metriche di valutazione del modello, come accuracy, precision, recall, F1-score e specificity, che forniscono una valutazione più completa delle prestazioni del modello.

Metriche Derivate dalla Matrice di Confusione

Dalla matrice di confusione si possono derivare diverse metriche chiave che forniscono una visione più dettagliata delle prestazioni del modello:

1. Accuracy (Accuratezza): Rappresenta la proporzione di predizioni corrette sul totale delle osservazioni. È definita come:\[\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}\]​
   Tuttavia, in presenza di classi sbilanciate, l’accuratezza può essere una metrica ingannevole.
2. Precision (Precisione): Misura la qualità delle predizioni positive, indicando la proporzione di veri positivi sul totale delle predizioni positive:
   \[\text{Precision} = \frac{TP}{TP + FP}\]
   ​È particolarmente utile quando il costo dei falsi positivi è elevato.
3. Recall (Sensibilità o True Positive Rate, TPR): Indica la capacità del modello di identificare correttamente le istanze positive:\[\text{Recall} = \frac{TP}{TP + FN}\]​
   È critica quando il costo dei falsi negativi è elevato.
4. F1-Score: La media armonica di precisione e recall, fornendo un equilibrio tra le due metriche:
   \[\text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}\]
   Specificity (Specificità o True Negative Rate, TNR): Indica la capacità del modello di identificare correttamente le istanze negative:
   \[\text{Specificity} = \frac{TN}{TN + FP}\]Queste metriche consentono di valutare le prestazioni del modello in modo più completo, adattandosi meglio alle esigenze specifiche del problema di classificazione affrontato.

Esempio pratico

Ecco un esempio pratico di classificazione binaria e per calcolare i valori True Positive (TP), True Negative (TN), False Positive (FP) e False Negative (FN).

Immaginiamo di avere un sistema di machine learning che deve classificare se un’email è spam o non spam. Abbiamo un modello che è stato addestrato per questo compito, e ora vogliamo testarlo su un piccolo set di 10 email di cui conosciamo già la classificazione corretta.

Dataset di Test

Di seguito sono riportate le predizioni del modello e le etichette reali (la classificazione corretta):

Calcolo dei Valori TP, TN, FP, FN
Per classificare ogni email come TP, TN, FP o FN, utilizziamo le seguenti definizioni:

• True Positive (TP): Il modello predice “Spam” e l’email è effettivamente “Spam”.
• True Negative (TN): Il modello predice “Non Spam” e l’email è effettivamente “Non Spam”.
• False Positive (FP): Il modello predice “Spam” ma l’email è in realtà “Non Spam”.
• False Negative (FN): Il modello predice “Non Spam” ma l’email è effettivamente “Spam”.

Analisi delle Predizioni

Conteggio dei Valori

• True Positive (TP): 3 (email 1, 4, 9)
• True Negative (TN): 4 (email 3, 6, 10)
• False Positive (FP): 2 (email 5, 8)
• False Negative (FN): 2 (email 2, 7)

Interpretazione

Dopo aver classificato ciascuna email, otteniamo i seguenti valori:

• True Positive (TP): Il modello ha correttamente identificato 3 email come spam.
• True Negative (TN): Il modello ha correttamente identificato 4 email come non spam.
• False Positive (FP): Il modello ha erroneamente classificato 2 email come spam quando in realtà non lo erano.
• False Negative (FN): Il modello ha erroneamente classificato 2 email come non spam quando invece erano spam.

Creazione della Matrice di Confusione

Ora possiamo costruire la matrice di confusione in base ai valori appena calcolati:

Calcolo delle Metriche

Con la matrice di confusione, possiamo ora calcolare alcune metriche chiave:

1. Accuracy (Accuratezza): Percentuale di predizioni corrette.
   \[
   \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} = \frac{3 + 4}{3 + 4 + 2 + 2} = \frac{7}{10} = 0.7 \quad \text{(70\%)}
   \]
2. Precision (Precisione): Percentuale di predizioni positive corrette.
   \[
   \text{Precision} = \frac{TP}{TP + FP} = \frac{3}{3 + 2} = \frac{3}{5} = 0.6 \quad \text{(60\%)}
   \]
3. Recall (Sensibilità): Percentuale di corretta identificazione degli esempi positivi.
   \[
   \text{Recall} = \frac{TP}{TP + FN} = \frac{3}{3 + 2} = \frac{3}{5} = 0.6 \quad \text{(60\%)}
   \]
4. F1-Score: Media armonica di precisione e recall.
   \[
   \text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} = 2 \times \frac{0.6 \times 0.6}{0.6 + 0.6} = 2 \times \frac{0.36}{1.2} = 0.6
   \]

Questo esempio pratico mostra come i valori True Positive (TP), True Negative (TN), False Positive (FP) e False Negative (FN) possono essere classificati ed elaborati. Attraverso la costruzione della matrice di confusione e il calcolo di metriche fondamentali come accuratezza, precisione, recall e F1-score, possiamo valutare in modo più approfondito le prestazioni del modello di machine learning e capire dove è necessario migliorare, soprattutto in contesti come lo spam detection, in cui i falsi positivi o falsi negativi possono avere implicazioni importanti.

Esempio in Python

Questo esempio in Python illustra come calcolare i valori True Positive (TP), True Negative (TN), False Positive (FP) e False Negative (FN), oltre a costruire la matrice di confusione e calcolare alcune metriche come accuracy, precision, recall e F1-score.

Utilizzeremo le librerie scikit-learn e numpy per questo scopo.

Passaggi

1. Definiremo le etichette reali (classe reale) e le predizioni effettuate dal modello.
2. Calcoleremo la matrice di confusione.
3. Estrarremo i valori TP, TN, FP e FN.
4. Calcoleremo le metriche.

Codice Python

import numpy as np
from sklearn.metrics import confusion_matrix, accuracy_score, precision_score, recall_score, f1_score

# 1. Definizione delle etichette reali e delle predizioni del modello
y_true = np.array(['Spam', 'Spam', 'Non Spam', 'Spam', 'Non Spam',
'Non Spam', 'Spam', 'Non Spam', 'Spam', 'Non Spam'])
y_pred = np.array(['Spam', 'Non Spam', 'Non Spam', 'Spam', 'Spam',
'Non Spam', 'Non Spam', 'Spam', 'Spam', 'Non Spam'])

# 2. Calcolo della matrice di confusione
cm = confusion_matrix(y_true, y_pred, labels=['Spam', 'Non Spam'])

# 3. Estrarre i valori TP, TN, FP, FN dalla matrice di confusione
TP = cm[0, 0]
FN = cm[0, 1]
FP = cm[1, 0]
TN = cm[1, 1]

print(f"Matrice di confusione:\n{cm}\n")
print(f"True Positives (TP): {TP}")
print(f"True Negatives (TN): {TN}")
print(f"False Positives (FP): {FP}")
print(f"False Negatives (FN): {FN}\n")

# 4. Calcolo delle metriche
accuracy = accuracy_score(y_true, y_pred)
precision = precision_score(y_true, y_pred, pos_label='Spam')
recall = recall_score(y_true, y_pred, pos_label='Spam')
f1 = f1_score(y_true, y_pred, pos_label='Spam')

print(f"Accuracy: {accuracy:.2f}")
print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1-Score: {f1:.2f}")

Spiegazione del Codice

1. Definizione delle etichette reali e delle predizioni: y_true contiene le etichette reali per ciascun esempio, mentre y_pred contiene le predizioni fatte dal modello.
2. Matrice di confusione: La funzione confusion_matrix di scikit-learn viene utilizzata per calcolare la matrice di confusione. L’opzione labels=['Spam', 'Non Spam'] assicura che la classe positiva (“Spam”) sia considerata come la prima riga e colonna nella matrice.
3. Estrazione dei valori TP, TN, FP, FN: I valori vengono estratti dalla matrice di confusione. TP si trova in cm[0, 0], FN in cm[0, 1], FP in cm[1, 0] e TN in cm[1, 1].
4. Calcolo delle metriche: Le funzioni accuracy_score, precision_score, recall_score e f1_score calcolano rispettivamente l’accuratezza, la precisione, il recall e il F1-score. Queste metriche sono calcolate per la classe “Spam”, specificata con pos_label='Spam'.

Output Atteso

Quando esegui questo codice, ottieni un output simile a questo:

Matrice di confusione:
[[3 2]
[2 3]]

True Positives (TP): 3
True Negatives (TN): 3
False Positives (FP): 2
False Negatives (FN): 2

Accuracy: 0.60
Precision: 0.60
Recall: 0.60
F1-Score: 0.60

Interpretazione dell’Output

• La matrice di confusione mostra che ci sono:
  • 3 True Positives (TP)
  • 3 True Negatives (TN)
  • 2 False Positives (FP)
  • 2 False Negatives (FN)
• Le metriche calcolate indicano:
  • Accuracy: Il modello è accurato nel 60% dei casi.
  • Precision: Quando il modello predice “Spam”, è corretto il 60% delle volte.
  • Recall: Il modello identifica correttamente il 60% delle email spam.
  • F1-Score: La media armonica tra precision e recall è 0.60.

Questo esempio ti mostra come utilizzare Python per calcolare e interpretare i principali valori e metriche relativi a un modello di classificazione.

Applicazioni Pratiche della Matrice di Confusione

La matrice di confusione trova applicazione in una vasta gamma di contesti reali. Ad esempio, nel campo della medicina, viene utilizzata per valutare l’efficacia di modelli diagnostici, dove è cruciale bilanciare i falsi positivi (ad esempio, diagnosticare una malattia inesistente) e i falsi negativi (mancata diagnosi di una malattia esistente). Nel marketing, la matrice di confusione aiuta a misurare l’efficacia di campagne pubblicitarie predittive, identificando le tendenze di spesa dei consumatori. Anche nella sicurezza informatica, è essenziale per valutare i modelli che rilevano attività anomale, bilanciando l’esigenza di ridurre al minimo sia i falsi positivi sia i falsi negativi.

Conclusioni

La matrice di confusione è uno strumento essenziale per chi lavora con modelli di classificazione in machine learning. Offre una comprensione profonda delle prestazioni del modello, andando oltre la semplice accuratezza e permettendo di identificare specifici punti deboli da migliorare. Utilizzando metriche derivate come precisione, recall, F1-score e specificità, i data scientist possono ottenere una visione più completa delle capacità predittive del loro modello, adattandolo meglio alle esigenze specifiche del problema da risolvere. In un mondo in cui l’accuratezza delle predizioni può avere un impatto significativo su decisioni critiche, la matrice di confusione rappresenta un alleato indispensabile.

Riferimenti

• Confusion Matrix: Understanding the Basics – Towards Data Science
  Un articolo introduttivo che spiega in modo chiaro cos’è la matrice di confusione e come interpretare le metriche chiave.
• Precision and Recall: A Guide – Towards Data Science
  Un articolo che esplora in profondità precision e recall, con esempi pratici e visualizzazioni.