Соглашение между оценщиками (Fleiss's Kappa, Krippendorff's Alpha и т.д.) Java API?

Question

Я работаю над созданием Классификации вопросов / корпуса ответов в рамках моей магистерской диссертации.Я смотрю на оценку моей таксономии ожидаемого типа ответа в отношении соглашения / надежности между оценщиками, и мне было интересно:Кто-нибудь знает о каких-либо приличных (желательно бесплатных) Java API (ах), которые могут это сделать?

Я вполне уверен, что на данный момент все, что мне нужно, - это Каппа Флейсса и Альфа Криппендорфа.

Weka предоставляет статистику kappa в своем пакете оценки, но я думаю, что она может оценивать только классификатор, а я еще не на этой стадии (потому что я все еще создаю набор данных и классы).

Спасибо.

Answer 1

Я не смог вовремя найти существующий Java API для своих исследований, поэтому в итоге я самостоятельно внедрил Kappa от Fleiss и Alpha от Krippendorff.Предварительные результаты нашего исследования можно найти в этой статье.

Answer 2

Проверьте открытый исходный код QDAP (Питтсбургский университет).

Answer 3

Я портировал реализацию kappa в matlab от Fleiss на Python / numpy.

http://code.google.com/p/hydrat/source/browse/src/hydrat/common/fleiss.py

Это несложно реализовать, возможно, вы могли бы сами перенести его на Java.