أشجار القرار المرجونة باستخدام انتروبيا

Question

أنا بناء شجرة التصنيف الثنائية باستخدام كسب المعلومات المتبادلة كما وظيفة تقسيم. ولكن نظرا لأن البيانات التدريبية منحرفة نحو بعض الطبقات، فمن المستحسن الوزن كل مثال تدريبي من خلال تردد الطبقة العكسية.

كيف يمكنني الوزن بيانات التدريب؟ عند حساب الاحتمالات لتقدير Entropy، هل آخذ متوسطات مرجحة؟

تحرير: أود التعبير عن الانتروبي مع الأوزان.

Answer 1

انتروبيا ذات قيمة الدولة كتدبير لمخاطر الاستثمار.
http://www56.homepage.villanova.edu/david.nawrocki/state٪20weighted٪20entropy٪20nawrocki٪20harding.pdf.

Answer 2

مقالة ويكيبيديا التي استشهدت بالترقيب. انها تقول:

المتغيرات المرجحة
في الصياغة التقليدية لمعلومات المتبادلة،

يتم مرجح كل حدث أو كائن محدد بواسطة (x، y) بواسطة الاحتمال المقابل P (X، Y). يفترض هذا أن جميع الكائنات أو الأحداث تعادل عن احتمال حدوثها. ومع ذلك، في بعض التطبيقات، قد يكون الأمر كذلك أن بعض الأشياء أو الأحداث أكثر أهمية من غيرها، أو أن بعض أنماط الجمعيات مهمة أكثر دلالة من غيرها.

على سبيل المثال، قد ينظر إلى الخرائط الحتمية {(1،1)، (2،2)، (3،3)} أقوى (من قبل بعض المعايير) من التعيين الحديثة {(1،3)، (2،1 )، (3،2)}، على الرغم من أن هذه العلاقات ستحقق نفس المعلومات المتبادلة. وذلك لأن المعلومات المتبادلة ليست حساسة على الإطلاق بأي طلب متأصل في القيم المتغيرة (Cronbach 1954، Coloms & Dawes 1970، Lockhead 1970)، وبالتالي ليست حساسة على الإطلاق إلى شكل التعيين العلائقية بين المتغيرات المرتبطة بها وبعد إذا أراد ذلك أن يتم الحكم على العلاقة السابقة - إظهار الاتفاق على جميع القيم المتغيرة - أقوى من العلاقة اللاحقة، فمن الممكن استخدام المعلومات المتبادلة الموزونة التالية (Guiasu 1977)

الذي يضع وزن W (X، Y) على احتمال حدوث قيمة متغيرة القيمة، P (X، Y). يتيح ذلك أن تحمل بعض الاحتمالات أهمية أكثر أو أقل من غيرها، مما يسمح لتقدير عوامل الشمولي أو Pränanz ذات الصلة. في المثال أعلاه، باستخدام الأوزان النسبية أكبر ل W (1،1)، W (2،2)، و (3،3) سيكون له تأثير تقييم المزيد من المعلوماتية المتعلقة بالعلاقة {(1،1)، ( 2،2)، (3،3)} أكثر من العلاقة (1،3)، (2،1)، (3،2)}، والتي قد تكون مرغوبة في بعض حالات الاعتراف بالأنشطة، وما شابه ذلك.

http://en.wikipedia.org/wiki/mutual_information#weight_variants.