vyhodnocení Cohenova Kappa

hodnota pro kappa může být menší než 0 (negativní). Skóre 0 znamená, že mezi hodnotiteli existuje náhodná shoda, zatímco skóre 1 znamená, že mezi hodnotiteli existuje úplná shoda. Proto skóre, které je menší než 0 znamená, že existuje menší shoda než náhodná šance. Níže, ukážu vám vzorec, jak to vyřešit, ale je důležité, abyste se seznámili s obrázkem 4 mít silné porozumění.

důvod, proč jsem zdůraznil dva rošty, bude jasné za chvíli, ale teď, dovolte mi, abych rozebrat každé mřížky.

a => celkový počet instancí, které oba hodnotitelé uvedli, byly správné. Hodnotitelé souhlasí.

B => celkový počet případů, které Rater 2 řekl, byl nesprávný, ale rater 1 řekl, že byly správné. To je nesouhlas.

C => celkový počet případů, které Rater 1 řekl, byl nesprávný, ale rater 2 řekl, že byly správné. To je také nesouhlas.

D => celkový počet instancí, které oba hodnotitelé uvedli, byly nesprávné. Hodnotitelé souhlasí.

abychom mohli zjistit hodnotu kappa, musíme nejprve znát pravděpodobnost dohody (to vysvětluje, proč jsem zdůraznil diagonální dohodu). Tento vzorec je odvozen přidáním počtu testů, ve kterých se hodnotitelé dohodnou, a poté jej vydělením celkovým počtem testů. Na příkladu z obrázku 4 by to znamenalo (A + D)/(A + B+ C+ D).

Perfektní! Dalším krokem je zjistit pravděpodobnost náhodné dohody. Pomocí obrázku 4 jako vodítko, očekávaná hodnota je celkový počet časy, které Hodnotitel 1 řekl, jaká děleno celkovým počtem případů, jímž se vynásobí celkový počet časy, které Hodnotitel 2 řekl, jaká děleno celkovým počtem případů, přidány do celkového počtu časy, které Hodnotitel 1 řekl: chyby přiřazení nesprávné přípony vynásobí celkový počet časy, které Hodnotitel 2 řekl: chyby přiřazení nesprávné přípony. To je spousta informací, které je třeba vzít, takže na obrázku 6 jsem formuloval tuto rovnici pomocí mřížky výše.

Lastly, the formula for Cohen’s Kappa is the probability of agreement take away the probability of random agreement divided by 1 minus the probability of random agreement.

skvělé! Nyní jste schopni rozlišovat mezi spolehlivostí a platností, vysvětlit Cohenovu Kappu a vyhodnotit ji. Tato statistika je velmi užitečná, i když jsem pochopil, jak to funguje, nyní se domnívám, že při optimalizaci algoritmů na konkrétní metriku může být nedostatečně využívána. Navíc, Cohen ‚ s kappa také dělá dobrou práci, měření multi-třídy a nevyvážené třídy problémy.

P. S. Pokud existuje něco, co chcete, abych se týkal vědy o datech, můžete mi poslat zprávu na Twitteru @KurtisPykes nebo zanechat odpověď na tento příspěvek.