Wie filtert ich asiatische Sprache aus einem RSS -Feed?

Question

Ich mag es, den Überblick zu behalten köstlich.com/popular RSS -Feed. In letzter Zeit gibt es jedoch immer mehr asiatische Seiten in den Gegenständen. Da ich keine asiatischen Sprachen verstehe, möchte ich sie irgendwie aus dem Feed filtern und mir einige Zeit retten.

Ich habe versucht, etwas zu kochen, indem ich benutzt Yahoo Pipes, aber nicht in der Lage war, es zum Laufen zu bringen.

Hat jemand Ideen, wie man das funktioniert?

Answer 1

Ich hatte etwas Glück bei http://pipes.yahoo.com/pipes/pipe.info?_id=yjh1arp_3hgapi23tpvyrq

Die Quelle des Rohrs enthält alle Informationen, aber das Schlüsselbit beträgt einen Filter mit der Regex ^[A-Za-z 0-9 \.,\?'""!@#\$%\^&\*\(\)-_=\+;:<>\/\\\|\}\{\[\]~]+$`.

Dadurch wird alle Feeds herausgefiltert, die im Titel alles andere als Standard -ASCII verwenden. Leider bedeutet dies auch, dass es auch Wörter wie "Résumé" filtert, aber es sollte für Sie ziemlich einfach sein, die Regex so anzupassen, dass gemeinsame nicht englische Charaktere aus den Sprachen, die Sie kennen, einbeziehen.

Answer 2

Sie möchten wahrscheinlich Titel überspringen, bei denen mehr als x% der Zeichen nicht aus den Codeblöcken stammen, die den Skripten dieser Sprachen zugewiesen sind, die Sie verstehen können. Wenn Sie beispielsweise griechische, russische, arabische, hebräische, armenische, chinesische, japanische, koreanische, indikumsprachen usw. nicht lesen können U+0233. Dadurch bleibt das lateinische Alphabet. Die Idee, einen Rand von 10% zu hinterlassen, gilt für Interpunktionsmarken; Auch technische Artikel können Symbole verwenden, die sich nicht im Basisalphabet befinden.