(Human) Sprache eines Dokuments

Question

Gibt es eine Möglichkeit (ein Programm, eine Bibliothek) auf etwa wissen, welche Sprache ein Dokument geschrieben ist?

Ich habe eine Reihe von Textdokumenten (~ 500 KB) in gemischten Sprachen in einem i18n importieren aktiviert CMS (Drupal) ..

Ich brauche nicht perfekt Spielen nur einige Vermutung.

Answer 1

Es ist eine ziemlich einfache Möglichkeit, dies zu tun gegeben, dass Sie Korpusdaten in den verschiedenen Sprachen haben Sie identifizieren müssen. Es ist n-Gramm-Modellierung genannt. Ich denke, Lingua :: Identifizieren tut dies bereits, obwohl, so dass die beste Wahl, anstatt Ihre eigene Umsetzung.

Answer 2

Ich würde sagen, die beste Wahl für Schlüsselwörter suchen ist - Artikel, die Art der Sache - die zu den Sprachen einzigartig sind für Sie suchen. „Un“ wird angezeigt in Spanisch und Französisch, zum Beispiel, aber „une“ ist identifiably Französisch während „unos“ zum Beispiel identifiably Spanisch ist. Diakritische Zeichen sind auch nützlich -. Sie werden „ñ“ in Spanisch und Portugiesisch möglicherweise, „C“ in Französisch und ein paar andere sehen ... so etwas

Bearbeiten - Paul-Lösung ist wahrscheinlich die beste; Ich skizzierte sieht aus wie es Methoden wie das, was verwendet wird, plus ein paar zusätzliche.

Answer 3

Durch eine Google-Suche läuft für " Funktion in der Google Code-API, das ist genau das, was Sie brauchen.

Answer 4

Google Translation API ist cool, und verfügt über eine REST-Schnittstelle. Aber ich brauche es viele große Dokument senden (ja, könnte ich einen Auszug verwenden), und selbst wenn Google ist Google, ich glaube nicht, dass diese fair.

Dokument ist auch nicht von mir, und Id meiner Klienten fragen, ob es in Ordnung ist, sie an einen Dritten zu senden (auch wenn, bald oder später, G wird erhält sie;)).

Ich glaube, ich gehe den Perl-Pfad durch ...

Answer 5

Es scheint ein Perl-Modul für diese zu sein: Lingua :: Identifizieren

Paul.