PHP Многобайтовый str_replace?

Question

Я пытаюсь выполнить замену символов с ударением в PHP, но получаю странные результаты, я предполагаю, потому что я использую строку UTF-8, а str_replace не может должным образом обрабатывать многобайтовые строки..

$accents_search     = array('á','à','â','ã','ª','ä','å','Á','À','Â','Ã','Ä','é','è',
'ê','ë','É','È','Ê','Ë','í','ì','î','ï','Í','Ì','Î','Ï','œ','ò','ó','ô','õ','º','ø',
'Ø','Ó','Ò','Ô','Õ','ú','ù','û','Ú','Ù','Û','ç','Ç','Ñ','ñ'); 

$accents_replace    = array('a','a','a','a','a','a','a','A','A','A','A','A','e','e',
'e','e','E','E','E','E','i','i','i','i','I','I','I','I','oe','o','o','o','o','o','o',
'O','O','O','O','O','u','u','u','U','U','U','c','C','N','n'); 

$str = str_replace($accents_search, $accents_replace, $str);

Результаты, которые я получаю:

Ørjan Nilsen -> �orjan Nilsen

Ожидаемый результат:

Ørjan Nilsen -> Orjan Nilsen

Редактировать:У меня установлен мой внутренний обработчик символов в UTF-8 (согласно mb_internal_encoding () ) , также значение $ str равно UTF-8, так что, насколько я могу судить, все задействованные строки являются UTF-8.Обнаруживает ли str_replace() наборы символов и использует ли их должным образом?

Answer 1

Похоже, строка не была заменена, потому что ваша кодировка ввода и кодировка файла не совпадают.

Answer 2

Согласно документации php str_replace - str_replace функция безопасна для двоичных файлов, что означает, что она может обрабатывать UTF-8 закодированный текст без какой-либо потери данных.

Answer 3

Удалить диакритические знаки можно с помощью Форма нормализации Юникода D (NFD) и свойства символов Юникода.

NFD преобразует что-то вроде "ü" умлаута из "ЛАТИНСКОЙ СТРОЧНОЙ БУКВЫ U С ДИАРЕЗИСОМ" (которая является буквой) в "ЛАТИНСКУЮ СТРОЧНУЮ БУКВУ U" (буква) и "КОМБИНИРУЮЩИЙ ДИАРЕЗИС" (не буква).

header('Content-Type: text/plain; charset=utf-8');

$test = implode('', array('á','à','â','ã','ª','ä','å','Á','À','Â','Ã','Ä','é','è',
'ê','ë','É','È','Ê','Ë','í','ì','î','ï','Í','Ì','Î','Ï','œ','ò','ó','ô','õ','º','ø',
'Ø','Ó','Ò','Ô','Õ','ú','ù','û','Ú','Ù','Û','ç','Ç','Ñ','ñ'));

$test = Normalizer::normalize($test, Normalizer::FORM_D);

// Remove everything that's not a "letter" or a space (e.g. diacritics)
// (see http://de2.php.net/manual/en/regexp.reference.unicode.php)
$pattern = '/[^\pL ]/u';

echo preg_replace($pattern, '', $test);

Выходной сигнал:

aaaaªaaAAAAAeeeeEEEEiiiiIIIIœooooºøØOOOOuuuUUUcCNn

Класс нормализатора является частью Международный пакет PECL.(Сам алгоритм не очень сложный, но требует загрузки большого количества сопоставлений символов afaik.Я написал Реализация PHP некоторое время назад.)

(Я добавляю это с опозданием на два месяца, потому что считаю, что это хорошая техника, которая недостаточно широко известна.)

Answer 4

Попробуйте это определение функции:

if (!function_exists('mb_str_replace')) {
    function mb_str_replace($search, $replace, $subject) {
        if (is_array($subject)) {
            foreach ($subject as $key => $val) {
                $subject[$key] = mb_str_replace((string)$search, $replace, $subject[$key]);
            }
            return $subject;
        }
        $pattern = '/(?:'.implode('|', array_map(create_function('$match', 'return preg_quote($match[0], "/");'), (array)$search)).')/u';
        if (is_array($search)) {
            if (is_array($replace)) {
                $len = min(count($search), count($replace));
                $table = array_combine(array_slice($search, 0, $len), array_slice($replace, 0, $len));
                $f = create_function('$match', '$table = '.var_export($table, true).'; return array_key_exists($match[0], $table) ? $table[$match[0]] : $match[0];');
                $subject = preg_replace_callback($pattern, $f, $subject);
                return $subject;
            }
        }
        $subject = preg_replace($pattern, (string)$replace, $subject);
        return $subject;
    }
}