تعدين النص: متى تستخدم المحلل ، Tagger ، أداة ner؟

Question

أقوم بمشروع على محتويات مدونة التعدين وأحتاج إلى مساعدة في التمييز بين الأداة التي يجب استخدامها. متى أستخدم محللًا ، متى أستخدم tagger ، ومتى أحتاج إلى استخدام أداة ner؟

على سبيل المثال ، أريد أن أعرف أكثر المواضيع/الموضوعات بين العديد من المدونات ؛ هل أستخدم علامة جزء من الكلام للاستيلاء على الأسماء والقيام بحساب التردد؟ ربما يكون ذلك غير كافٍ لأن المصطلحات العامة جدًا يمكن أن تظهر بشكل صحيح؟ أو هل لدي قائمة بالفئات وهذه المرادفات التي يمكنني مطابقة؟

راجع للشغل ، أنا أستخدم NLTK ، لكنني أنظر إلى ستانفورد تاججر أو محلل لأن اثنين من الرجال قالوا إنه جيد.

Answer 1

بدلاً من محاولة إعادة اختراع العجلة ، قد ترغب في قراءة نماذج الموضوع ، والتي تنشئ مجموعات من الكلمات التي تحدث معًا بشكل متكرر. يحتوي Mallet على مجموعة أدوات متاحة بسهولة للقيام بمثل هذه المهمة: http://mallet.cs.umass.edu/topics.php .

للإجابة على سؤالك الأصلي ، لا يتم استخدام أدوات POS الأصلية ، وأدوات المحللين ، وأدوات NER لتحديد الموضوع ، ولكن يتم استخدامها بشكل كبير لمهام مثل استخراج المعلومات حيث يكون الهدف هو تحديد الجهات الفاعلة والأحداث والمواقع المحددة في المستند وما إلى ذلك ... على سبيل المثال إذا كان لديك جملة بسيطة مثل "جون أعطى التفاح لمريم". يمكنك استخدام محلل التبعية لمعرفة أن جون هو الموضوع ، والتفاح هو الكائن ، وماري هي كائن الجر ؛ وهكذا تعلم أن جون هو المانح وماري هو المتلقي وليس العكس.