evalueren Kappa van Cohen

de waarde voor kappa kan kleiner zijn dan 0 (negatief). Een score van 0 betekent dat er een willekeurige overeenkomst is tussen raters, terwijl een score van 1 betekent dat er een volledige overeenkomst is tussen de raters. Daarom betekent een score die minder dan 0 is dat er minder overeenstemming is dan willekeurige kans. Hieronder zal ik je de formule laten zien om dit uit te werken, maar het is belangrijk dat je jezelf vertrouwd maakt met Figuur 4 om een sterk begrip te hebben.

de reden dat ik twee rasters heb gemarkeerd zal in een moment duidelijk worden, maar voor nu, laat me elk raster opsplitsen.

A = > het totale aantal gevallen dat volgens beide raters juist was. De Raters zijn het eens.

B = > het totale aantal gevallen dat rater 2 zei onjuist was, maar rater 1 zei juist waren. Dit is een meningsverschil.

C = > het totale aantal gevallen dat rater 1 zei onjuist was, maar rater 2 zei juist waren. Dit is ook een meningsverschil.

D = > het totale aantal gevallen dat volgens beide Raters onjuist was. Raters zijn het eens.

om de kappa-waarde te berekenen, moeten we eerst de waarschijnlijkheid van overeenkomst kennen (dit verklaart waarom ik de diagonaal van de Overeenkomst heb gemarkeerd). Deze formule wordt afgeleid door het aantal tests toe te voegen waarin de raters het eens zijn en vervolgens te delen door het totale aantal tests. Met behulp van het voorbeeld uit figuur 4, dat zou betekenen (A + D)/(A + B+ C+ D).

perfect! De volgende stap is om uit te werken de waarschijnlijkheid van willekeurige overeenstemming. Met behulp van figuur 4 als een leidraad, de verwachte waarde is het totale aantal keren dat rater 1 zei correct gedeeld door het totale aantal gevallen, vermenigvuldigd met het totale aantal keer dat rater 2 zei correct gedeeld door het totale aantal gevallen, toegevoegd aan het totale aantal keer dat rater 1 zei incorrect vermenigvuldigd met het totale aantal keer dat Rater 2 zei incorrect. Dat is een hoop informatie om op te nemen dus in Figuur 6 heb ik deze vergelijking geformuleerd met behulp van het raster hierboven.

Lastly, the formula for Cohen’s Kappa is the probability of agreement take away the probability of random agreement divided by 1 minus the probability of random agreement.

geweldig! Je kunt nu onderscheid maken tussen betrouwbaarheid en validiteit, Cohen ‘ s kappa uitleggen en evalueren. Deze statistiek is zeer nuttig, hoewel omdat ik heb begrepen hoe het werkt, ik nu geloof dat het kan worden onderbenut bij het optimaliseren van algoritmen om een specifieke metriek. Daarnaast doet Cohen ‘ s kappa ook goed werk in het meten van zowel multi-class als onevenwichtige klasseproblemen.

P. S. Als er iets is dat je wilt dat ik te dekken te maken met Data Science, kunt u direct bericht me op Twitter @KurtisPykes of laat een reactie op dit bericht.