Entropie et gain d'information

Question

Question simple que j'espère.

Si j'ai un ensemble de données comme celle-ci:

Classification  attribute-1  attribute-2

Correct         dog          dog 
Correct         dog          dog
Wrong           dog          cat 
Correct         cat          cat
Wrong           cat          dog
Wrong           cat          dog

Alors quel est le gain d'informations de l'attribut-2 relatif à l'attribut-1?

J'ai calculé l'entropie de l'ensemble du jeu de données: - (3/6) log2 (3/6) - (3/6) log2 (3/6)= 1

Alors je suis coincé!Je pense que vous devez calculer les entropies d'attribut-1 et d'attribut-2 aussi?Ensuite, utilisez ces trois calculs dans un calcul de gain d'informations?

Toute aide serait géniale,

merci :).

Answer 1

Eh bien d'abord, vous devez calculer l'entropie pour chacun des attributs.Après cela, vous calculez le gain d'informations.Donnez-moi juste un moment et je vais montrer comment cela devrait être fait.

pour attribut-1

attr-1=dog:
info([2c,1w])=entropy(2/3,1/3)

attr-1=cat
info([1c,2w])=entropy(1/3,2/3)

valeur pour attribut-1:

info([2c,1w],[1c,2w])=(3/6)*info([2c,1w])+(3/6)*info([1c,2w])

gain pour attribut-1:

gain("attr-1")=info[3c,3w]-info([2c,1w],[1c,2w])

Et vous devez faire la même chose pour l'attribut suivant.