المجموعات الهرمية الموزعة
https://stackoverflow.com/questions/84820
-
01-07-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russianسؤال
هل هناك أي خوارزميات يمكن أن تساعد في التجميع الهرمي؟يحتوي تطبيق Google Map-reduce على مثال فقط على التجميع k.في حالة التجميع الهرمي، لست متأكدًا من إمكانية تقسيم العمل بين العقد.المصدر الآخر الذي وجدته هو: http://issues.Apache.org/jira/browse/MAHOUT-19لكن ليس من الواضح ما هي الخوارزميات المستخدمة.
المحلول
أولاً، عليك أن تقرر ما إذا كنت ستبني التسلسل الهرمي من الأسفل إلى الأعلى أم من الأعلى إلى الأسفل.
ويسمى من أسفل إلى أعلى التجمعات التكتلية الهرمية.إليك خوارزمية بسيطة وموثقة جيدًا: http://nlp.stanford.edu/IR-book/html/htmledition/hierarchical-agglomerative-clustering-1.html.
يعد توزيع خوارزمية من أسفل إلى أعلى أمرًا صعبًا لأن كل عملية موزعة تحتاج إلى مجموعة البيانات بأكملها لاتخاذ خيارات بشأن المجموعات المناسبة.كما يحتاج أيضًا إلى قائمة المجموعات في مستواها الحالي حتى لا تضيف نقطة بيانات إلى أكثر من مجموعة في نفس المستوى.
يسمى بناء التسلسل الهرمي من أعلى إلى أسفل التجمعات الانقسامية. وسائل K يعد أحد الخيارات لتحديد كيفية تقسيم عقد التسلسل الهرمي الخاص بك.تبحث هذه الورقة في وسائل K وتقسيم الاتجاه الرئيسي (PDDP) لتقسيم العقدة: http://scgroup.hpclab.ceid.upatras.gr/faculty/stratis/Papers/tm07book.pdf.في النهاية، تحتاج فقط إلى تقسيم كل عقدة أصل إلى عقد فرعية متوازنة نسبيًا.
من الأسهل توزيع النهج من أعلى إلى أسفل.بعد تقسيم العقدة الأولى، يمكن شحن كل عقدة تم إنشاؤها إلى عملية موزعة ليتم تقسيمها مرة أخرى وهكذا...تحتاج كل عملية موزعة فقط إلى أن تكون على دراية بالمجموعة الفرعية من مجموعة البيانات التي تقسمها.العملية الأصلية فقط هي التي تدرك مجموعة البيانات الكاملة.
وبالإضافة إلى ذلك، يمكن تنفيذ كل تقسيم بالتوازي.مثالان لوسائل k:
نصائح أخرى
يراجع كلارك أولسون العديد من الخوارزميات الموزعة للتجميع الهرمي:
ج.F.أولسون."خوارزميات متوازية للتجميع الهرمي." الحوسبة الموازية, 21:1313-1325, 1995, دوى:10.1016/0167-8191(95)00017-I.
باروناك وآخرون.وصف خوارزمية مستوحاة من كيفية ترتيب النمل لأعشاشه:
ح.فان دايك باروناك ، ريتشارد روهوير ، ثيودور سي.Belding ، و Sven Brueckner:"لا مركزية ديناميكية في أي وقت في التجميع الهرمي." في بروك.ورشة العمل الدولية الرابعة حول أنظمة التنظيم الذاتي الهندسي (ESOA), 2006, دوى:10.1007/978-3-540-69868-5
تحقق من هذا قابل للقراءة للغاية إذا كان قديمًا بعض الشيء مراجعة من قبل أولسون (1995).معظم الأوراق منذ ذلك الحين تتطلب رسومًا للوصول إليها.:-)
إذا كنت تستخدم R، أوصي بالمحاولة com.pvclust مما يحقق التوازي باستخدام ثلج, وحدة R أخرى.
يمكنك أن ترى أيضا إيجاد وتقييم هيكل المجتمع في الشبكات بواسطة نيومان وجيرفان، حيث يقترحان طريقة لتقييم المجتمعات في الشبكات (ومجموعة من الخوارزميات القائمة على هذا النهج) وقياس تقسيم الشبكة إلى جودة المجتمعات (نمطية الرسم البياني).
يمكنك إلقاء نظرة على بعض الأعمال التي يتم تنفيذها باستخدام خرائط التنظيم الذاتي (طريقة الشبكة العصبية لكوهونن)...الرجال في جامعة فيينا للتكنولوجيا لقد قاموا ببعض الأعمال على الحساب الموزع لخوارزمية الخريطة الهرمية المتنامية.
هذا على حافة سؤال التجميع الخاص بك قليلاً، لذا قد لا يساعد، لكن لا يمكنني التفكير في أي شيء أقرب ؛)
