Как отсортировать массив строк UTF-8?
Вопрос
В настоящее время я понятия не имею, как сортировать массив, содержащий строки в кодировке UTF-8 в PHP.Массив поступает с сервера LDAP, поэтому сортировка через базу данных (это не проблема) не является решением.Следующее не работает на моей машине для разработки Windows (хотя я думаю, что это должно быть, по крайней мере, возможным решением):
$array=array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
$oldLocal=setlocale(LC_COLLATE, "0");
var_dump(setlocale(LC_COLLATE, 'German_Germany.65001'));
usort($array, 'strcoll');
var_dump(setlocale(LC_COLLATE, $oldLocal));
var_dump($array);
Результат:
string(20) "German_Germany.65001"
string(1) "C"
array(6) {
[0]=>
string(6) "Birnen"
[1]=>
string(9) "Ungetiere"
[2]=>
string(6) "Äpfel"
[3]=>
string(5) "Apfel"
[4]=>
string(9) "Ungetüme"
[5]=>
string(11) "Österreich"
}
Это полная чушь.Использование 1252 в качестве кодовой страницы для setlocale()
дает другой результат, но все же явно неправильный:
string(19) "German_Germany.1252"
string(1) "C"
array(6) {
[0]=>
string(11) "Österreich"
[1]=>
string(6) "Äpfel"
[2]=>
string(5) "Apfel"
[3]=>
string(6) "Birnen"
[4]=>
string(9) "Ungetüme"
[5]=>
string(9) "Ungetiere"
}
Есть ли способ отсортировать массив с учетом локали строк UTF-8?
Только что заметил, что это, похоже, проблема PHP в Windows, поскольку тот же фрагмент с de_DE.utf8
используется как локаль, работает на машине с Linux.Тем не менее решение этой специфичной для Windows проблемы было бы неплохо...
Решение 3
В конце концов, эту проблему невозможно решить простым способом без использования перекодированных строк (UTF-8 → Windows-1252 или ISO-8859-1), как предлагает ΤΖΩΤΖΙΟΥ, из-за очевидной ошибки PHP, обнаруженной Huppie.Чтобы обобщить проблему, я создал следующий фрагмент кода, который ясно демонстрирует, что проблема заключается в функции strcoll() при использовании кодовой страницы 65001 Windows-UTF-8.
function traceStrColl($a, $b) {
$outValue=strcoll($a, $b);
echo "$a $b $outValue\r\n";
return $outValue;
}
$locale=(defined('PHP_OS') && stristr(PHP_OS, 'win')) ? 'German_Germany.65001' : 'de_DE.utf8';
$string="ABCDEFGHIJKLMNOPQRSTUVWXYZÄÖÜabcdefghijklmnopqrstuvwxyzäöüß";
$array=array();
for ($i=0; $i<mb_strlen($string, 'UTF-8'); $i++) {
$array[]=mb_substr($string, $i, 1, 'UTF-8');
}
$oldLocale=setlocale(LC_COLLATE, "0");
var_dump(setlocale(LC_COLLATE, $locale));
usort($array, 'traceStrColl');
setlocale(LC_COLLATE, $oldLocale);
var_dump($array);
Результат:
string(20) "German_Germany.65001"
a B 2147483647
[...]
array(59) {
[0]=>
string(1) "c"
[1]=>
string(1) "B"
[2]=>
string(1) "s"
[3]=>
string(1) "C"
[4]=>
string(1) "k"
[5]=>
string(1) "D"
[6]=>
string(2) "ä"
[7]=>
string(1) "E"
[8]=>
string(1) "g"
[...]
Тот же фрагмент без проблем работает на машине с Linux, выдавая следующий результат:
string(10) "de_DE.utf8"
a B -1
[...]
array(59) {
[0]=>
string(1) "a"
[1]=>
string(1) "A"
[2]=>
string(2) "ä"
[3]=>
string(2) "Ä"
[4]=>
string(1) "b"
[5]=>
string(1) "B"
[6]=>
string(1) "c"
[7]=>
string(1) "C"
[...]
Этот фрагмент также работает при использовании строк в кодировке Windows-1252 (ISO-8859-1) (конечно, тогда необходимо изменить кодировку mb_* и локаль).
Я отправил отчет об ошибке на bugs.php.net: Ошибка № 46165: strcoll() не работает со строками UTF-8 в Windows..Если у вас возникла та же проблема, вы можете оставить свой отзыв команде PHP на странице отчета об ошибках (две другие, возможно, связанные ошибки были классифицированы как фальшивый - Я не думаю, что это ошибка фальшивый ;-).
Всем спасибо.
Другие советы
$a = array( 'Кръстев', 'Делян1', 'делян1', 'Делян2', 'делян3', 'кръстев' );
$col = new \Collator('bg_BG');
$col->asort( $a );
var_dump( $a );
Распечатки:
array
2 => string 'делян1' (length=11)
1 => string 'Делян1' (length=11)
3 => string 'Делян2' (length=11)
4 => string 'делян3' (length=11)
5 => string 'кръстев' (length=14)
0 => string 'Кръстев' (length=14)
А Collator
класс определен в Международное расширение PECL.Он распространяется с исходными кодами PHP 5.3, но может быть отключен для некоторых сборок.Например.в Debian он находится в пакете php5-intl.
Collator::compare
полезно для usort
.
Обновление по этому вопросу:
Несмотря на то, что обсуждение этой проблемы показало, что мы могли обнаружить ошибку PHP с помощью strcoll()
и/или setlocale()
, это явно не так.Проблема скорее в ограничении реализации Windows CRT setlocale()
(PHP setlocale()
это всего лишь тонкая оболочка вокруг вызова CRT).Ниже приводится цитата из Страница MSDN «setlocale, _wsetlocale»:
Набор доступных языков, кодов страны/региона и страниц кода включает все, что поддерживается API Win32 NLS За исключением кодовых страниц, которые требуют более двух байтов на символ, такие как UTF-7 и UTF-8.Если вы предоставите кодовую страницу, такую как UTF-7 или UTF-8, SetLocale потерпит неудачу, возвращая NULL. Набор языковых и кодов страны/региона, поддерживаемых Setlocale, перечислен в строках языка и страны/региона.
Поэтому невозможно использовать строковые операции с учетом локали в PHP в Windows, когда строки закодированы в несколько байтов.
Это очень сложный проблема, поскольку данные в кодировке UTF-8 могут содержать любой символ Юникода (т. е.символы из многих 8-битных кодировок, которые по-разному сопоставляются в разных локалях).
Возможно, если вы преобразовали свои данные UTF-8 в Unicode (извините, не знакомы с функциями PHP Unicode), а затем нормализовали их в НФД или НФКД а затем сортировка по кодовым точкам может дать некоторую сортировку, которая будет иметь для вас смысл (например, «A» перед «Ä»).
Проверьте ссылки, которые я предоставил.
РЕДАКТИРОВАТЬ:поскольку вы упоминаете, что ваши входные данные ясны (я предполагаю, что все они попадают в кодовую страницу «windows-1252»), вам следует выполнить следующее преобразование:UTF-8 → Unicode → Windows-1252, в котором данные в кодировке Windows-1252 выполняют сортировку, выбирая локаль «CP1252».
Использование вашего примера с кодовой страницей 1252 отлично работало на моей машине для разработки Windows.
$array=array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
$oldLocal=setlocale(LC_COLLATE, "0");
var_dump(setlocale(LC_COLLATE, 'German_Germany.1252'));
usort($array, 'strcoll');
var_dump(setlocale(LC_COLLATE, $oldLocal));
var_dump($array);
...отрезать...
Это было с PHP 5.2.6.кстати.
Приведенный выше пример неправильный, он использует кодировку ASCII вместо UTF-8.Я проследил вызовы strcoll() и посмотрел, что нашел:
function traceStrColl($a, $b) {
$outValue = strcoll($a, $b);
echo "$a $b $outValue\r\n";
return $outValue;
}
$array=array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
setlocale(LC_COLLATE, 'German_Germany.65001');
usort($array, 'traceStrColl');
print_r($array);
дает:
Ungetüme Äpfel 2147483647 Ungetüme Birnen 2147483647 Ungetüme Apfel 2147483647 Ungetüme Ungetiere 2147483647 Österreich Ungetüme 2147483647 Äpfel Ungetiere 2147483647 Äpfel Birnen 2147483647 Apfel Äpfel 2147483647 Ungetiere Birnen 2147483647
я нашел кое-что отчеты об ошибках которые были помечены как фальшивый...Я полагаю, что лучший вариант - это отправить отчет об ошибке...
я нашел следующую вспомогательную функцию Здесь очень полезно преобразовать все буквы строки в буквы ASCII.
function _all_letters_to_ASCII($string) {
return strtr(utf8_decode($string),
utf8_decode('ŠŒŽšœžŸ¥µÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖØÙÚÛÜÝßàáâãäåæçèéêëìíîïðñòóôõöøùúûüýÿ'),
'SOZsozYYuAAAAAAACEEEEIIIIDNOOOOOOUUUUYsaaaaaaaceeeeiiiionoooooouuuuyy');
}
После этого простой array_multisort()
дает вам то, что вы хотите.
$array = array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
$reference_array = $array;
foreach ($reference_array as $key => &$value) {
$value = _all_letters_to_ASCII($value);
}
var_dump($reference_array);
array_multisort($reference_array, $array);
var_dump($array);
Конечно, вы можете настроить вспомогательную функцию для более сложных задач.Но на данный момент это выглядит довольно хорошо.
array(6) {
[0]=> string(6) "Birnen"
[1]=> string(5) "Apfel"
[2]=> string(8) "Ungetume"
[3]=> string(5) "Apfel"
[4]=> string(9) "Ungetiere"
[5]=> string(10) "Osterreich"
}
array(6) {
[0]=> string(5) "Apfel"
[1]=> string(6) "Äpfel"
[2]=> string(6) "Birnen"
[3]=> string(11) "Österreich"
[4]=> string(9) "Ungetiere"
[5]=> string(9) "Ungetüme"
}
Я столкнулся с той же проблемой с немецким «Умлауте».После некоторых исследований это сработало для меня:
$laender =array("Österreich", "Schweiz", "England", "France", "Ägypten");
$laender = array_map("utf8_decode", $laender);
setlocale(LC_ALL,"de_DE@euro", "de_DE", "deu_deu");
sort($laender, SORT_LOCALE_STRING);
$laender = array_map("utf8_encode", $laender);
print_r($laender);
Результат:
Множество
(
[0] => Египет
[1] => Англия
[2] => Франция
[3] => Австрия
[4] => Швейцария
)
Ваши параметры сортировки должны соответствовать набору символов.Поскольку ваши данные имеют кодировку UTF-8, вам следует использовать параметры сортировки UTF-8.На разных платформах он может называться по-разному, но лучше всего предположить, что de_DE.utf8
.
В системах UNIX вы можете получить список установленных на данный момент локалей с помощью команды
locale -a