Как отсортировать массив строк UTF-8?

StackOverflow https://stackoverflow.com/questions/120334

  •  02-07-2019
  •  | 
  •  

Вопрос

В настоящее время я понятия не имею, как сортировать массив, содержащий строки в кодировке UTF-8 в PHP.Массив поступает с сервера LDAP, поэтому сортировка через базу данных (это не проблема) не является решением.Следующее не работает на моей машине для разработки Windows (хотя я думаю, что это должно быть, по крайней мере, возможным решением):

$array=array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
$oldLocal=setlocale(LC_COLLATE, "0");
var_dump(setlocale(LC_COLLATE, 'German_Germany.65001'));
usort($array, 'strcoll');
var_dump(setlocale(LC_COLLATE, $oldLocal));
var_dump($array);

Результат:

string(20) "German_Germany.65001"
string(1) "C"
array(6) {
  [0]=>
  string(6) "Birnen"
  [1]=>
  string(9) "Ungetiere"
  [2]=>
  string(6) "Äpfel"
  [3]=>
  string(5) "Apfel"
  [4]=>
  string(9) "Ungetüme"
  [5]=>
  string(11) "Österreich"
}

Это полная чушь.Использование 1252 в качестве кодовой страницы для setlocale() дает другой результат, но все же явно неправильный:

string(19) "German_Germany.1252"
string(1) "C"
array(6) {
  [0]=>
  string(11) "Österreich"
  [1]=>
  string(6) "Äpfel"
  [2]=>
  string(5) "Apfel"
  [3]=>
  string(6) "Birnen"
  [4]=>
  string(9) "Ungetüme"
  [5]=>
  string(9) "Ungetiere"
}

Есть ли способ отсортировать массив с учетом локали строк UTF-8?

Только что заметил, что это, похоже, проблема PHP в Windows, поскольку тот же фрагмент с de_DE.utf8 используется как локаль, работает на машине с Linux.Тем не менее решение этой специфичной для Windows проблемы было бы неплохо...

Это было полезно?

Решение 3

В конце концов, эту проблему невозможно решить простым способом без использования перекодированных строк (UTF-8 → Windows-1252 или ISO-8859-1), как предлагает ΤΖΩΤΖΙΟΥ, из-за очевидной ошибки PHP, обнаруженной Huppie.Чтобы обобщить проблему, я создал следующий фрагмент кода, который ясно демонстрирует, что проблема заключается в функции strcoll() при использовании кодовой страницы 65001 Windows-UTF-8.

function traceStrColl($a, $b) {
    $outValue=strcoll($a, $b);
    echo "$a $b $outValue\r\n";
    return $outValue;
}

$locale=(defined('PHP_OS') && stristr(PHP_OS, 'win')) ? 'German_Germany.65001' : 'de_DE.utf8';

$string="ABCDEFGHIJKLMNOPQRSTUVWXYZÄÖÜabcdefghijklmnopqrstuvwxyzäöüß";
$array=array();
for ($i=0; $i<mb_strlen($string, 'UTF-8'); $i++) {
    $array[]=mb_substr($string, $i, 1, 'UTF-8');
}
$oldLocale=setlocale(LC_COLLATE, "0");
var_dump(setlocale(LC_COLLATE, $locale));
usort($array, 'traceStrColl');
setlocale(LC_COLLATE, $oldLocale);
var_dump($array);

Результат:

string(20) "German_Germany.65001"
a B 2147483647
[...]
array(59) {
  [0]=>
  string(1) "c"
  [1]=>
  string(1) "B"
  [2]=>
  string(1) "s"
  [3]=>
  string(1) "C"
  [4]=>
  string(1) "k"
  [5]=>
  string(1) "D"
  [6]=>
  string(2) "ä"
  [7]=>
  string(1) "E"
  [8]=>
  string(1) "g"
  [...]

Тот же фрагмент без проблем работает на машине с Linux, выдавая следующий результат:

string(10) "de_DE.utf8"
a B -1
[...]
array(59) {
  [0]=>
  string(1) "a"
  [1]=>
  string(1) "A"
  [2]=>
  string(2) "ä"
  [3]=>
  string(2) "Ä"
  [4]=>
  string(1) "b"
  [5]=>
  string(1) "B"
  [6]=>
  string(1) "c"
  [7]=>
  string(1) "C"
  [...]

Этот фрагмент также работает при использовании строк в кодировке Windows-1252 (ISO-8859-1) (конечно, тогда необходимо изменить кодировку mb_* и локаль).

Я отправил отчет об ошибке на bugs.php.net: Ошибка № 46165: strcoll() не работает со строками UTF-8 в Windows..Если у вас возникла та же проблема, вы можете оставить свой отзыв команде PHP на странице отчета об ошибках (две другие, возможно, связанные ошибки были классифицированы как фальшивый - Я не думаю, что это ошибка фальшивый ;-).

Всем спасибо.

Другие советы

$a = array( 'Кръстев', 'Делян1', 'делян1', 'Делян2', 'делян3', 'кръстев' );
$col = new \Collator('bg_BG');
$col->asort( $a );
var_dump( $a );

Распечатки:

array
  2 => string 'делян1' (length=11)
  1 => string 'Делян1' (length=11)
  3 => string 'Делян2' (length=11)
  4 => string 'делян3' (length=11)
  5 => string 'кръстев' (length=14)
  0 => string 'Кръстев' (length=14)

А Collator класс определен в Международное расширение PECL.Он распространяется с исходными кодами PHP 5.3, но может быть отключен для некоторых сборок.Например.в Debian он находится в пакете php5-intl.

Collator::compare полезно для usort.

Обновление по этому вопросу:

Несмотря на то, что обсуждение этой проблемы показало, что мы могли обнаружить ошибку PHP с помощью strcoll() и/или setlocale(), это явно не так.Проблема скорее в ограничении реализации Windows CRT setlocale() (PHP setlocale() это всего лишь тонкая оболочка вокруг вызова CRT).Ниже приводится цитата из Страница MSDN «setlocale, _wsetlocale»:

Набор доступных языков, кодов страны/региона и страниц кода включает все, что поддерживается API Win32 NLS За исключением кодовых страниц, которые требуют более двух байтов на символ, такие как UTF-7 и UTF-8.Если вы предоставите кодовую страницу, такую ​​как UTF-7 или UTF-8, SetLocale потерпит неудачу, возвращая NULL. Набор языковых и кодов страны/региона, поддерживаемых Setlocale, перечислен в строках языка и страны/региона.

Поэтому невозможно использовать строковые операции с учетом локали в PHP в Windows, когда строки закодированы в несколько байтов.

Это очень сложный проблема, поскольку данные в кодировке UTF-8 могут содержать любой символ Юникода (т. е.символы из многих 8-битных кодировок, которые по-разному сопоставляются в разных локалях).

Возможно, если вы преобразовали свои данные UTF-8 в Unicode (извините, не знакомы с функциями PHP Unicode), а затем нормализовали их в НФД или НФКД а затем сортировка по кодовым точкам может дать некоторую сортировку, которая будет иметь для вас смысл (например, «A» перед «Ä»).

Проверьте ссылки, которые я предоставил.

РЕДАКТИРОВАТЬ:поскольку вы упоминаете, что ваши входные данные ясны (я предполагаю, что все они попадают в кодовую страницу «windows-1252»), вам следует выполнить следующее преобразование:UTF-8 → Unicode → Windows-1252, в котором данные в кодировке Windows-1252 выполняют сортировку, выбирая локаль «CP1252».

Использование вашего примера с кодовой страницей 1252 отлично работало на моей машине для разработки Windows.

$array=array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
$oldLocal=setlocale(LC_COLLATE, "0");
var_dump(setlocale(LC_COLLATE, 'German_Germany.1252'));
usort($array, 'strcoll');
var_dump(setlocale(LC_COLLATE, $oldLocal));
var_dump($array);

...отрезать...

Это было с PHP 5.2.6.кстати.

Приведенный выше пример неправильный, он использует кодировку ASCII вместо UTF-8.Я проследил вызовы strcoll() и посмотрел, что нашел:

function traceStrColl($a, $b) {
    $outValue = strcoll($a, $b);
    echo "$a $b $outValue\r\n";
    return $outValue;
}

$array=array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
setlocale(LC_COLLATE, 'German_Germany.65001');
usort($array, 'traceStrColl');
print_r($array);

дает:

Ungetüme Äpfel 2147483647
Ungetüme Birnen 2147483647
Ungetüme Apfel 2147483647
Ungetüme Ungetiere 2147483647
Österreich Ungetüme 2147483647
Äpfel Ungetiere 2147483647
Äpfel Birnen 2147483647
Apfel Äpfel 2147483647
Ungetiere Birnen 2147483647

я нашел кое-что отчеты об ошибках которые были помечены как фальшивый...Я полагаю, что лучший вариант - это отправить отчет об ошибке...

я нашел следующую вспомогательную функцию Здесь очень полезно преобразовать все буквы строки в буквы ASCII.

function _all_letters_to_ASCII($string) {
  return strtr(utf8_decode($string), 
    utf8_decode('ŠŒŽšœžŸ¥µÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖØÙÚÛÜÝßàáâãäåæçèéêëìíîïðñòóôõöøùúûüýÿ'),
    'SOZsozYYuAAAAAAACEEEEIIIIDNOOOOOOUUUUYsaaaaaaaceeeeiiiionoooooouuuuyy');
}

После этого простой array_multisort() дает вам то, что вы хотите.

$array = array('Birnen', 'Äpfel', 'Ungetüme', 'Apfel', 'Ungetiere', 'Österreich');
$reference_array = $array;

foreach ($reference_array as $key => &$value) {
  $value = _all_letters_to_ASCII($value);
}
var_dump($reference_array);

array_multisort($reference_array, $array);
var_dump($array);

Конечно, вы можете настроить вспомогательную функцию для более сложных задач.Но на данный момент это выглядит довольно хорошо.

array(6) {
  [0]=> string(6) "Birnen"
  [1]=> string(5) "Apfel"
  [2]=> string(8) "Ungetume"
  [3]=> string(5) "Apfel"
  [4]=> string(9) "Ungetiere"
  [5]=> string(10) "Osterreich"
}

array(6) {
  [0]=> string(5) "Apfel"
  [1]=> string(6) "Äpfel"
  [2]=> string(6) "Birnen"
  [3]=> string(11) "Österreich"
  [4]=> string(9) "Ungetiere"
  [5]=> string(9) "Ungetüme"
}

Я столкнулся с той же проблемой с немецким «Умлауте».После некоторых исследований это сработало для меня: 

$laender =array("Österreich", "Schweiz", "England", "France", "Ägypten");  
$laender = array_map("utf8_decode", $laender);  
setlocale(LC_ALL,"de_DE@euro", "de_DE", "deu_deu");  
sort($laender, SORT_LOCALE_STRING);  
$laender = array_map("utf8_encode", $laender);  
print_r($laender);

Результат:

Множество
(
[0] => Египет
[1] => Англия
[2] => Франция
[3] => Австрия
[4] => Швейцария
)

Ваши параметры сортировки должны соответствовать набору символов.Поскольку ваши данные имеют кодировку UTF-8, вам следует использовать параметры сортировки UTF-8.На разных платформах он может называться по-разному, но лучше всего предположить, что de_DE.utf8.

В системах UNIX вы можете получить список установленных на данный момент локалей с помощью команды

locale -a
Лицензировано под: CC-BY-SA с атрибуция
Не связан с StackOverflow
scroll top