Valutare Kappa di Cohen

Il valore per kappa può essere inferiore a 0 (negativo). Un punteggio di 0 significa che esiste un accordo casuale tra i valutatori, mentre un punteggio di 1 significa che esiste un accordo completo tra i valutatori. Pertanto, un punteggio inferiore a 0 significa che c’è meno accordo rispetto al caso casuale. Qui di seguito, vi mostrerò la formula per risolvere questo problema, ma è importante che si familiarizzare con la figura 4 per avere una forte comprensione.

Il motivo per cui ho messo in evidenza due griglie diventerà chiaro in un momento, ma per ora, mi permetta di abbattere ogni griglia.

A => Il numero totale di istanze che entrambi i valutatori hanno dichiarato corrette. I valutatori sono d’accordo.

B = > Il numero totale di istanze che Rater 2 ha detto non era corretto, ma Rater 1 ha detto che erano corrette. Questo è un disaccordo.

C => Il numero totale di istanze che Rater 1 ha detto non era corretto, ma Rater 2 ha detto che erano corrette. Anche questo è un disaccordo.

D => Il numero totale di istanze che entrambi i Valutatori hanno dichiarato errate. I valutatori sono d’accordo.

Per calcolare il valore di kappa, dobbiamo prima conoscere la probabilità di accordo (questo spiega perché ho evidenziato la diagonale dell’accordo). Questa formula è derivata aggiungendo il numero di prove in cui i valutatori concordano poi dividendolo per il numero totale di prove. Usando l’esempio di figura 4, ciò significherebbe (A + D)/(A + B+ C+ D).

Perfetto! Il prossimo passo è capire la probabilità di un accordo casuale. La figura 4 come una guida, il valore atteso è il numero totale di volte che Rater 1 detto corretto diviso per il numero totale di istanze, moltiplicato per il numero totale di volte che Rater 2 detto di correggere diviso per il numero totale di istanze, aggiunto il numero totale di volte che Rater 1 detto di non corretto moltiplicato per il numero totale di volte che Rater 2 detto di non corretto. Che è un sacco di informazioni da prendere in là così in figura 6 ho formulato questa equazione utilizzando la griglia di cui sopra.

Lastly, the formula for Cohen’s Kappa is the probability of agreement take away the probability of random agreement divided by 1 minus the probability of random agreement.

Ottimo! Ora sei in grado di distinguere tra affidabilità e validità, spiegare la kappa di Cohen e valutarla. Questa statistica è molto utile, anche se dal momento che ho capito come funziona, ora credo che possa essere sottoutilizzato quando si ottimizzano gli algoritmi su una metrica specifica. Inoltre, la kappa di Cohen fa anche un buon lavoro nel misurare sia i problemi di classe multi-classe che quelli squilibrati.

P.S. Se c’è qualcosa che vuoi che copra a che fare con la scienza dei dati, puoi inviarmi un messaggio su Twitter @KurtisPykes o lasciare una risposta a questo post.