Accordo Inter-rater (Fleiss' Kappa, Alpha, ecc di Krippendorff) API Java?

Question

Sto lavorando sulla costruzione di una classificazione Domanda / Risposta corpus come una parte della mia tesi di master. Sto cercando di valutare la mia previsto tipo risposta tassonomia rispetto alla inter-rater accordo / affidabilità, e mi chiedevo:? Qualcuno sa di qualsiasi decente (preferibilmente gratuito) Java API (s) che può fare questo

Sono ragionevolmente certo tutto quello che serve è Fleiss' Kappa e Alpha di Krippendorff a questo point.

Weka fornisce una statistica kappa nel suo pacchetto di valutazione, ma credo che sia in grado di valutare solo un classificatore e io non sono in quella fase ancora (perché sto ancora costruendo il set di dati e classi).

Grazie.

Answer 1

non riuscivo a trovare un'API Java esistente in tempo per la mia ricerca, così ho finito per attuare sia Kappa Fleiss' e di Krippendorff Alpha me stesso. I risultati preliminari per la nostra ricerca si possono trovare in questo documento .

Answer 2

Controlla QDAP (Pittsburg University) codice Open Source.

Answer 3

ho portato un'implementazione Matlab di kappa Fleiss' a Python / NumPy.

http://code.google. com / p / HYDRAT / source / browse / src / HYDRAT / common / fleiss.py

Non è difficile da realizzare, forse si potrebbe portarlo a Java da soli.