코헨의 카파 평가

카파의 값은 0 보다 작을 수 있습니다(음수). 0 의 점수는 평가자간에 무작위 합의가 있음을 의미하는 반면,1 의 점수는 평가자간에 완전한 합의가 있음을 의미합니다. 따라서 0 보다 작은 점수는 무작위 기회보다 합의가 적다는 것을 의미합니다. 아래,내가 당신을 보여줍니다 수식하는 작업이지만,그것은 당신이 자신을 익히 그림을 4 강한 이해합니다.

가 강조 표시된 두 개의 그리드가 될 것이다 명확한 순간에,하지만 지금은,나를 각각의 그리드.

A=>두 raters 가 모두 정확하다고 말한 총 인스턴스 수입니다. Raters 는 합의에 있습니다.

B=>Rater2 가 말한 총 인스턴스 수는 올바르지 만 Rater1 이 정확하다고 말했습니다. 이것은 의견 차이입니다.

C=>Rater1 이 말한 총 인스턴스 수는 올바르지 만 Rater2 가 정확하다고 말했습니다. 이것은 또한 의견 차이입니다.

D=>두 Raters 가 모두 잘못되었다고 말한 총 인스턴스 수입니다. Raters 는 합의에 있습니다.

에서 작업하기 위해 밖으로 카파 값을 우리가 먼저 알아야의 확률은 계약(이 나는 이유를 설명 강조 표시된 계약에 대각선). 이 공식은 평가자가 동의하는 테스트 수를 추가 한 다음 총 테스트 수로 나누어 파생됩니다. 그림 4 의 예제를 사용하면(A+D)/(A+B+C+D)를 의미합니다.

완벽하다! 다음 단계는 무작위 계약의 확률을 해결하는 것입니다. 를 사용하여 그림 4 을 가이드로 예상되는 값은 총 횟수를 평가자는 1 말했다 올바른으로 나눈 총수의 인스턴스,곱하여 총 횟수를 측정자 2 개의 말바로 나눈 총수의 인스턴스에 추가하여 총 횟수를 평가자는 1 말 잘못되었을 곱하여 총 횟수를 측정자 2 했다 잘못되었습니다. 그것은 거기에 걸릴 많은 정보이므로 그림 6 에서 위의 그리드를 사용하여이 방정식을 공식화했습니다.

Lastly, the formula for Cohen’s Kappa is the probability of agreement take away the probability of random agreement divided by 1 minus the probability of random agreement.

좋아요! 이제 신뢰성과 타당성을 구별하고 코헨의 카파를 설명하고 평가할 수있게되었습니다. 이 통계는 것은 매우 유용하지만,때문에 내가 이해 어떻게 작동하는지,나는 지금 믿을 수 있고 활용하고 때 최적화 알고리즘의 특정 지표입니다. 또한 Cohen 의 kappa 는 다중 클래스 및 불균형 클래스 문제를 모두 측정하는 훌륭한 작업을 수행합니다.

추신 무언가가있는 경우에는 당신이 원하는 나를 커버와 데이터 과학,할 수 있는 직접적인 메시지가 나에 트위터@KurtisPykes 떠나는 응답이다.