htmlspecialchars fazendo com que o texto desapareça

Question

Encontrei uma string específica (não é totalmente imprimível, mas você pode vê-la abaixo) que faz com que htmlspecialchars() retorne uma string de comprimento zero.Existe alguma maneira de consertar isso?

$Stmnt = 'SELECT subject_name FROM bans WHERE id = 2321';
$Fetch = $Conn->query($Stmnt);
if(!$Fetch)
    die('Could not query DB');
while($Row = $Fetch->fetch_array(MYSQLI_ASSOC))
{
    $RawName = $Row['subject_name'];
    $RawLen = strlen($RawName);
    echo('RAW NAME: ['.$RawName.']'.', LENGTH: ['.$RawLen.']'.'<br />');
    for($i = 0; $i < $RawLen; $i++)
        echo('CHAR '.$i.' = ['.$RawName[$i].'] (ORD: '.ord($RawName[$i]).')<br />');

    $CleanName = htmlspecialchars($RawName, ENT_QUOTES, 'UTF-8');
    $CleanLen = strlen($CleanName);
    echo('CLEAN NAME: ['.$CleanName.']'.', LENGTH: ['.$CleanLen.']'.'<br />');
    for($i = 0; $i < $CleanLen; $i++)
        echo('CHAR '.$i.' = ['.$CleanName[$i].'] (ORD: '.ord($CleanName[$i]).')<br />');
}
$Fetch->close();
echo('DONE');

Saída:

RAW NAME: [━═★ Coммander Fι5н �], LENGTH: [31]
CHAR 0 = [�] (ORD: 226)
CHAR 1 = [�] (ORD: 148)
CHAR 2 = [�] (ORD: 129)
CHAR 3 = [�] (ORD: 226)
CHAR 4 = [�] (ORD: 149)
CHAR 5 = [�] (ORD: 144)
CHAR 6 = [�] (ORD: 226)
CHAR 7 = [�] (ORD: 152)
CHAR 8 = [�] (ORD: 133)
CHAR 9 = [ ] (ORD: 32)
CHAR 10 = [C] (ORD: 67)
CHAR 11 = [o] (ORD: 111)
CHAR 12 = [�] (ORD: 208)
CHAR 13 = [�] (ORD: 188)
CHAR 14 = [�] (ORD: 208)
CHAR 15 = [�] (ORD: 188)
CHAR 16 = [a] (ORD: 97)
CHAR 17 = [n] (ORD: 110)
CHAR 18 = [d] (ORD: 100)
CHAR 19 = [e] (ORD: 101)
CHAR 20 = [r] (ORD: 114)
CHAR 21 = [ ] (ORD: 32)
CHAR 22 = [F] (ORD: 70)
CHAR 23 = [�] (ORD: 206)
CHAR 24 = [�] (ORD: 185)
CHAR 25 = [5] (ORD: 53)
CHAR 26 = [�] (ORD: 208)
CHAR 27 = [�] (ORD: 189)
CHAR 28 = [ ] (ORD: 32)
CHAR 29 = [�] (ORD: 226)
CHAR 30 = [�] (ORD: 148)
CLEAN NAME: [], LENGTH: [0]
DONE

Answer 1

Agora entendo por que ele está retornando uma string de comprimento zero.Desculpe por fazer esta pergunta.Eu deveria ter pesquisado mais antes de postar.De qualquer forma, a resposta é a seguinte:

No manual do PHP página para htmlspecialchars:

Se a sequência de entrada contiver uma sequência de unidade de código inválida dentro da codificação fornecida, uma sequência vazia será retornada, a menos que os sinalizadores ENT_IGNORE ou ENT_SUBSTITUTE sejam definidos.

Então eu me pergunto o que há de "inválido" nessa string?Na Wiki página para UTF-8 fornece um bom diagrama de codificação UTF-8.Todos os pontos de código que representam "texto simples ASCII" seriam 0-127 (o MSB no byte é sempre 0).

Se o MSB de um byte for 1 (decimal 128 a 255), ele informa ao analisador compatível com UTF-8 que o ponto de código consiste em uma cadeia de vários bytes. E a próximo os dois primeiros bits mais significativos do byte devem ser 1 seguido por 0.

Obviamente, nesta string, há um caso em que um byte é superior a 127 e o byte seguinte não começa com 1 e 0.Portanto, é uma codificação UTF-8 inválida.

Obrigado por esta postagem SO para a resolução, que na minha opinião, é usar o sinalizador ENT_SUBSTITUTE (ou suponho ENT_IGNORE se você tiver certeza de que excluir esses bytes não conformes não será um problema de segurança).