تشكيل / نص التحليل باستخدام NLTK

Question

أحاول تحليل بعض النصوص والتخطيطي، كما لو كنت جملة. أنا جديد على NLTK وأحاول العثور على شيء في NLTK الذي سيساعدني في إنجاز هذا. حتى الآن، لقد رأيت nltk.ne_chunk و nltk.pos_tag. وبعد أجدهم أنهم ليسوا بعيدون للغاية وأنا غير قادر على العثور على أي وثائق جيدة عبر الإنترنت.

لقد حاولت أيضا استخدام LancasterStemmer, ، لكنني لا أفهم تماما ما يفعله أو كيف ينبغي استخدامه أو لماذا موجود حتى ذلك.

يمكن لشخص ما الرجاء مساعدتي مع هذا؟ أنا حقا في حيرة والحصول على الإحباط تماما دون أي أضواء توجيهية.

شكرا مقدما

Answer 1

ما تصفه هو في الواقع مهمة صعبة حقا، كما في النهاية، ما إذا كان برنامجك قد نجح أو فشل هو إجراء شخصي تماما. عندما يكون هذا هو الحال، فإنه عادة ما يعني بناء برنامج لحل المشكلة أمر صعب. يوجد أشخاص يدفعون للعمل في هذه المشكلات الكريمة في الجامعات.

إذا كنت ترغب في الحصول على طعنة فيه، أقترح محاولة استخدام نوع من نوعها على أداة التحليل المعجمية الآلي بدلا من محاولة التحليل والاحليق يدويا، ثم الاستفادة من شجرة تحليلك. عادة ما تمثل تحليل الأشجار تحليلات النحوية، أي هيكل الجملة. أنت من ناحية أخرى تشعر بالقلق بدلا من التحليل الدلالي، أي ما يعنيه - أو على الأقل ما إذا كانت جملتين متشابهة أو مختلفة (والتي هي في الواقع أسهل بعض الشيء مما يعنيه شيء ما).

يمكنك أن تنظر إلى بعض أدوات التلخيص التلقائي خارج الرف. هذه محاولة تسجيل الجمل بمدى أهميتها في جزء من النص وتصفية الجمل التي هي أقل أهمية من عتبة محددة. ليس هذا يساعدك حقا أنه لا يزال لديك مشكلة في حاجة إلى دمج الملخصات.