كيفية اكتشاف النص المكرر مع بعض الغموض

Question

منذ شيء ما، وأنا أكتب نص صغير استخدام النص::DeDupe لإزالة النسخ المكررة من مشاركات المدونة قبل أن أضع عيني عليها.

بعد القراءة التجميع النحوي للويب الورقة التي يعتمد عليها التنفيذ، أود أن أتمكن من العثور على المستندات المتداخلة (على سبيل المثال.مقتطفات من المدونات بدلاً من النص الكامل، وربما اقتباسات أيضًا).

هل تعرف أي تطبيق آخر في C أو C++ أو Perl يمكنني تجربته قبل كتابة تطبيقي الخاص؟

Answer 1

يبدو أن SpotSigs يناسب فاتورتي تمامًا، إليك بعض المراجع:

• http://dbpubs.stanford.edu/pub/2008-10
• http://infoblog.stanford.edu/2008/08/spotsigs-are-stopwords-finally-good-for.html
• http://ilpubs.stanford.edu:8090/860/

تتم استضافة كود المصدر لهذه الوحدة على GitHub:

http://github.com/jzawodn/perl-text-spotsig