Como você remove caracteres hexadecimais inválidos de uma fonte de dados baseada em XML antes de construir um XmlReader ou XPathDocument que usa os dados?
https://stackoverflow.com/questions/20762
-
09-06-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianPergunta
Existe alguma maneira fácil/geral de limpar uma fonte de dados baseada em XML antes de usá-la em um XmlReader para que eu possa consumir normalmente dados XML que não estejam em conformidade com as restrições de caracteres hexadecimais impostas ao XML?
Observação:
- A solução precisa lidarespecificando o caractere que codifica na declaração do documento XML.Não controlar a codificação do personagem da fonte enquanto remove os caracteres hexadecimais inválidos tem sido um grande ponto de discórdia.
- A remoção de caracteres hexadecimais inválidos deve remover apenas valores codificados hexadecimais, pois muitas vezes você pode encontrar valores href em dados que contêm uma string que seria uma correspondência de string para um caractere hexadecimal.
Fundo:
Preciso consumir uma fonte de dados baseada em XML que esteja em conformidade com um formato específico (pense em feeds Atom ou RSS), mas quero poder consumir fontes de dados que foram publicadas e que contêm caracteres hexadecimais inválidos de acordo com a especificação XML.
No .NET, se você tiver um Stream que representa a fonte de dados XML e tentar analisá-lo usando um XmlReader e/ou XPathDocument, uma exceção será gerada devido à inclusão de caracteres hexadecimais inválidos nos dados XML.Minha tentativa atual de resolver esse problema é analisar o Stream como uma string e usar uma expressão regular para remover e/ou substituir os caracteres hexadecimais inválidos, mas estou procurando uma solução com melhor desempenho.
Solução
Isto pode não ser perfeito (ênfase adicionada, já que as pessoas não perceberam esse aviso), mas o que fiz nesse caso está abaixo.Você pode ajustar para usar com um stream.
/// <summary>
/// Removes control characters and other non-UTF-8 characters
/// </summary>
/// <param name="inString">The string to process</param>
/// <returns>A string with no control characters or entities above 0x00FD</returns>
public static string RemoveTroublesomeCharacters(string inString)
{
if (inString == null) return null;
StringBuilder newString = new StringBuilder();
char ch;
for (int i = 0; i < inString.Length; i++)
{
ch = inString[i];
// remove any characters outside the valid UTF-8 range as well as all control characters
// except tabs and new lines
//if ((ch < 0x00FD && ch > 0x001F) || ch == '\t' || ch == '\n' || ch == '\r')
//if using .NET version prior to 4, use above logic
if (XmlConvert.IsXmlChar(ch)) //this method is new in .NET 4
{
newString.Append(ch);
}
}
return newString.ToString();
}
Outras dicas
Gosto do conceito de lista branca de Eugene.Eu precisava fazer algo semelhante ao postador original, mas precisava oferecer suporte a todos os caracteres Unicode, não apenas até 0x00FD.A especificação XML é:
Char = #x9 | #XA | #xd | [#x20-#xd7ff] | [#xe000-#xfffd] | [#x10000-#x10ffff
No .NET, a representação interna de caracteres Unicode é de apenas 16 bits, portanto não podemos `permitir' 0x10000-0x10FFFF explicitamente.A especificação XML explicitamente não permite os pontos de código substitutos começando em 0xD800 apareçam.No entanto, é possível que, se permitirmos esses pontos de código substitutos em nossa lista de permissões, a codificação utf-8 de nossa string possa produzir XML válido no final, desde que a codificação utf-8 adequada seja produzida a partir dos pares substitutos de caracteres utf-16 no Sequência .NET.Porém, ainda não explorei isso, então optei pela aposta mais segura e não permiti substitutos em minha lista de permissões.
Os comentários na solução de Eugene são enganosos, o problema é que os caracteres que estamos excluindo não são válidos em XML ...eles são pontos de código Unicode perfeitamente válidos.Não estamos removendo `caracteres não-utf-8'.Estamos removendo caracteres utf-8 que podem não aparecer em documentos XML bem formados.
public static string XmlCharacterWhitelist( string in_string ) {
if( in_string == null ) return null;
StringBuilder sbOutput = new StringBuilder();
char ch;
for( int i = 0; i < in_string.Length; i++ ) {
ch = in_string[i];
if( ( ch >= 0x0020 && ch <= 0xD7FF ) ||
( ch >= 0xE000 && ch <= 0xFFFD ) ||
ch == 0x0009 ||
ch == 0x000A ||
ch == 0x000D ) {
sbOutput.Append( ch );
}
}
return sbOutput.ToString();
}
Como forma de remover caracteres XML inválidos, sugiro que você use XmlConvert.IsXmlChar método.Foi adicionado desde o .NET Framework 4 e também é apresentado no Silverlight.Aqui está a pequena amostra:
void Main() {
string content = "\v\f\0";
Console.WriteLine(IsValidXmlString(content)); // False
content = RemoveInvalidXmlChars(content);
Console.WriteLine(IsValidXmlString(content)); // True
}
static string RemoveInvalidXmlChars(string text) {
char[] validXmlChars = text.Where(ch => XmlConvert.IsXmlChar(ch)).ToArray();
return new string(validXmlChars);
}
static bool IsValidXmlString(string text) {
try {
XmlConvert.VerifyXmlChars(text);
return true;
} catch {
return false;
}
}
Implementação SECA de esta respostasolução (usando um construtor diferente - fique à vontade para usar o que você precisa em seu aplicativo):
public class InvalidXmlCharacterReplacingStreamReader : StreamReader
{
private readonly char _replacementCharacter;
public InvalidXmlCharacterReplacingStreamReader(string fileName, char replacementCharacter) : base(fileName)
{
this._replacementCharacter = replacementCharacter;
}
public override int Peek()
{
int ch = base.Peek();
if (ch != -1 && IsInvalidChar(ch))
{
return this._replacementCharacter;
}
return ch;
}
public override int Read()
{
int ch = base.Read();
if (ch != -1 && IsInvalidChar(ch))
{
return this._replacementCharacter;
}
return ch;
}
public override int Read(char[] buffer, int index, int count)
{
int readCount = base.Read(buffer, index, count);
for (int i = index; i < readCount + index; i++)
{
char ch = buffer[i];
if (IsInvalidChar(ch))
{
buffer[i] = this._replacementCharacter;
}
}
return readCount;
}
private static bool IsInvalidChar(int ch)
{
return (ch < 0x0020 || ch > 0xD7FF) &&
(ch < 0xE000 || ch > 0xFFFD) &&
ch != 0x0009 &&
ch != 0x000A &&
ch != 0x000D;
}
}
Modernizando dnewcombe resposta, você poderia adotar uma abordagem um pouco mais simples
public static string RemoveInvalidXmlChars(string input)
{
var isValid = new Predicate<char>(value =>
(value >= 0x0020 && value <= 0xD7FF) ||
(value >= 0xE000 && value <= 0xFFFD) ||
value == 0x0009 ||
value == 0x000A ||
value == 0x000D);
return new string(Array.FindAll(input.ToCharArray(), isValid));
}
ou, com Linq
public static string RemoveInvalidXmlChars(string input)
{
return new string(input.Where(value =>
(value >= 0x0020 && value <= 0xD7FF) ||
(value >= 0xE000 && value <= 0xFFFD) ||
value == 0x0009 ||
value == 0x000A ||
value == 0x000D).ToArray());
}
Eu estaria interessado em saber como o desempenho desses métodos se compara e como todos eles se comparam a uma abordagem de lista negra usando Buffer.BlockCopy.
Aqui está dnewcomea resposta em um StreamReader personalizado.Ele simplesmente envolve um leitor de fluxo real e substitui os caracteres à medida que são lidos.
Implementei apenas alguns métodos para economizar tempo.Usei isso em conjunto com XDocument.Load e um fluxo de arquivo e apenas o método Read(char[] buffer, int index, int count) foi chamado, então funcionou assim.Pode ser necessário implementar métodos adicionais para que isso funcione em seu aplicativo.Usei essa abordagem porque parece mais eficiente que as outras respostas.Eu também implementei apenas um dos construtores, obviamente você poderia implementar qualquer um dos construtores StreamReader que precisar, já que é apenas uma passagem.
Optei por substituir os caracteres em vez de removê-los porque simplifica muito a solução.Desta forma, o comprimento do texto permanece o mesmo, portanto não há necessidade de manter um índice separado.
public class InvalidXmlCharacterReplacingStreamReader : TextReader
{
private StreamReader implementingStreamReader;
private char replacementCharacter;
public InvalidXmlCharacterReplacingStreamReader(Stream stream, char replacementCharacter)
{
implementingStreamReader = new StreamReader(stream);
this.replacementCharacter = replacementCharacter;
}
public override void Close()
{
implementingStreamReader.Close();
}
public override ObjRef CreateObjRef(Type requestedType)
{
return implementingStreamReader.CreateObjRef(requestedType);
}
public void Dispose()
{
implementingStreamReader.Dispose();
}
public override bool Equals(object obj)
{
return implementingStreamReader.Equals(obj);
}
public override int GetHashCode()
{
return implementingStreamReader.GetHashCode();
}
public override object InitializeLifetimeService()
{
return implementingStreamReader.InitializeLifetimeService();
}
public override int Peek()
{
int ch = implementingStreamReader.Peek();
if (ch != -1)
{
if (
(ch < 0x0020 || ch > 0xD7FF) &&
(ch < 0xE000 || ch > 0xFFFD) &&
ch != 0x0009 &&
ch != 0x000A &&
ch != 0x000D
)
{
return replacementCharacter;
}
}
return ch;
}
public override int Read()
{
int ch = implementingStreamReader.Read();
if (ch != -1)
{
if (
(ch < 0x0020 || ch > 0xD7FF) &&
(ch < 0xE000 || ch > 0xFFFD) &&
ch != 0x0009 &&
ch != 0x000A &&
ch != 0x000D
)
{
return replacementCharacter;
}
}
return ch;
}
public override int Read(char[] buffer, int index, int count)
{
int readCount = implementingStreamReader.Read(buffer, index, count);
for (int i = index; i < readCount+index; i++)
{
char ch = buffer[i];
if (
(ch < 0x0020 || ch > 0xD7FF) &&
(ch < 0xE000 || ch > 0xFFFD) &&
ch != 0x0009 &&
ch != 0x000A &&
ch != 0x000D
)
{
buffer[i] = replacementCharacter;
}
}
return readCount;
}
public override Task<int> ReadAsync(char[] buffer, int index, int count)
{
throw new NotImplementedException();
}
public override int ReadBlock(char[] buffer, int index, int count)
{
throw new NotImplementedException();
}
public override Task<int> ReadBlockAsync(char[] buffer, int index, int count)
{
throw new NotImplementedException();
}
public override string ReadLine()
{
throw new NotImplementedException();
}
public override Task<string> ReadLineAsync()
{
throw new NotImplementedException();
}
public override string ReadToEnd()
{
throw new NotImplementedException();
}
public override Task<string> ReadToEndAsync()
{
throw new NotImplementedException();
}
public override string ToString()
{
return implementingStreamReader.ToString();
}
}
Abordagem baseada em Regex
public static string StripInvalidXmlCharacters(string str)
{
var invalidXmlCharactersRegex = new Regex("[^\u0009\u000a\u000d\u0020-\ud7ff\ue000-\ufffd]|([\ud800-\udbff](?![\udc00-\udfff]))|((?<![\ud800-\udbff])[\udc00-\udfff])");
return invalidXmlCharactersRegex.Replace(str, "");
}
Veja meu postagem do blog para mais detalhes
As soluções acima parecem servir para remover caracteres inválidos antes da conversão para XML.
Use este código para remover caracteres XML inválidos de uma string XML.por exemplo.&x1A;
public static string CleanInvalidXmlChars( string Xml, string XMLVersion )
{
string pattern = String.Empty;
switch( XMLVersion )
{
case "1.0":
pattern = @"&#x((10?|[2-F])FFF[EF]|FDD[0-9A-F]|7F|8[0-46-9A-F]9[0-9A-F]);";
break;
case "1.1":
pattern = @"&#x((10?|[2-F])FFF[EF]|FDD[0-9A-F]|[19][0-9A-F]|7F|8[0-46-9A-F]|0?[1-8BCEF]);";
break;
default:
throw new Exception( "Error: Invalid XML Version!" );
}
Regex regex = new Regex( pattern, RegexOptions.IgnoreCase );
if( regex.IsMatch( Xml ) )
Xml = regex.Replace( Xml, String.Empty );
return Xml;
}
http://balajiramesh.wordpress.com/2008/05/30/strip-illegal-xml-characters-based-on-w3c-standard/
Resposta modificada ou resposta original por Neolisk acima.
Mudanças:do caractere \0 é passado, a remoção é feita, em vez de uma substituição.também, fez uso do método XmlConvert.IsXmlChar(char)
/// <summary>
/// Replaces invalid Xml characters from input file, NOTE: if replacement character is \0, then invalid Xml character is removed, instead of 1-for-1 replacement
/// </summary>
public class InvalidXmlCharacterReplacingStreamReader : StreamReader
{
private readonly char _replacementCharacter;
public InvalidXmlCharacterReplacingStreamReader(string fileName, char replacementCharacter)
: base(fileName)
{
_replacementCharacter = replacementCharacter;
}
public override int Peek()
{
int ch = base.Peek();
if (ch != -1 && IsInvalidChar(ch))
{
if ('\0' == _replacementCharacter)
return Peek(); // peek at the next one
return _replacementCharacter;
}
return ch;
}
public override int Read()
{
int ch = base.Read();
if (ch != -1 && IsInvalidChar(ch))
{
if ('\0' == _replacementCharacter)
return Read(); // read next one
return _replacementCharacter;
}
return ch;
}
public override int Read(char[] buffer, int index, int count)
{
int readCount= 0, ch;
for (int i = 0; i < count && (ch = Read()) != -1; i++)
{
readCount++;
buffer[index + i] = (char)ch;
}
return readCount;
}
private static bool IsInvalidChar(int ch)
{
return !XmlConvert.IsXmlChar((char)ch);
}
}
Use esta função para remover caracteres XML inválidos.
public static string CleanInvalidXmlChars(string text)
{
string re = @"[^\x09\x0A\x0D\x20-\xD7FF\xE000-\xFFFD\x10000-x10FFFF]";
return Regex.Replace(text, re, "");
}
eu criei uma versão ligeiramente atualizada de Resposta do @Neolisk, que apoia a *Async funciona e usa o .Net 4.0 XmlConvert.IsXmlChar função.
public class InvalidXmlCharacterReplacingStreamReader : StreamReader
{
private readonly char _replacementCharacter;
public InvalidXmlCharacterReplacingStreamReader(string fileName, char replacementCharacter) : base(fileName)
{
_replacementCharacter = replacementCharacter;
}
public InvalidXmlCharacterReplacingStreamReader(Stream stream, char replacementCharacter) : base(stream)
{
_replacementCharacter = replacementCharacter;
}
public override int Peek()
{
var ch = base.Peek();
if (ch != -1 && IsInvalidChar(ch))
{
return _replacementCharacter;
}
return ch;
}
public override int Read()
{
var ch = base.Read();
if (ch != -1 && IsInvalidChar(ch))
{
return _replacementCharacter;
}
return ch;
}
public override int Read(char[] buffer, int index, int count)
{
var readCount = base.Read(buffer, index, count);
ReplaceInBuffer(buffer, index, readCount);
return readCount;
}
public override async Task<int> ReadAsync(char[] buffer, int index, int count)
{
var readCount = await base.ReadAsync(buffer, index, count).ConfigureAwait(false);
ReplaceInBuffer(buffer, index, readCount);
return readCount;
}
private void ReplaceInBuffer(char[] buffer, int index, int readCount)
{
for (var i = index; i < readCount + index; i++)
{
var ch = buffer[i];
if (IsInvalidChar(ch))
{
buffer[i] = _replacementCharacter;
}
}
}
private static bool IsInvalidChar(int ch)
{
return IsInvalidChar((char)ch);
}
private static bool IsInvalidChar(char ch)
{
return !XmlConvert.IsXmlChar(ch);
}
}
private static String removeNonUtf8CompliantCharacters( final String inString ) {
if (null == inString ) return null;
byte[] byteArr = inString.getBytes();
for ( int i=0; i < byteArr.length; i++ ) {
byte ch= byteArr[i];
// remove any characters outside the valid UTF-8 range as well as all control characters
// except tabs and new lines
if ( !( (ch > 31 && ch < 253 ) || ch == '\t' || ch == '\n' || ch == '\r') ) {
byteArr[i]=' ';
}
}
return new String( byteArr );
}
Você pode passar caracteres não UTF com o seguinte:
string sFinalString = "";
string hex = "";
foreach (char ch in UTFCHAR)
{
int tmp = ch;
if ((ch < 0x00FD && ch > 0x001F) || ch == '\t' || ch == '\n' || ch == '\r')
{
sFinalString += ch;
}
else
{
sFinalString += "&#" + tmp+";";
}
}
Tente isso para PHP!
$goodUTF8 = iconv("utf-8", "utf-8//IGNORE", $badUTF8);
