Comparação de duas matrizes de byte em .NET
https://stackoverflow.com/questions/43289
-
09-06-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianPergunta
Como posso fazer isso rápido?
A certeza de que posso fazer isso:
static bool ByteArrayCompare(byte[] a1, byte[] a2)
{
if (a1.Length != a2.Length)
return false;
for (int i=0; i<a1.Length; i++)
if (a1[i]!=a2[i])
return false;
return true;
}
Mas eu estou procurando por um BCL função ou alguns altamente otimizado de forma comprovada para fazer isso.
java.util.Arrays.equals((sbyte[])(Array)a1, (sbyte[])(Array)a2);
funciona muito bem, mas não me parece que iria trabalhar para x64.
Observação o meu super-rápida resposta aqui.
Solução 4
Utilizador gil sugeriu código não seguro o qual deu origem a esta solução:
// Copyright (c) 2008-2013 Hafthor Stefansson
// Distributed under the MIT/X11 software license
// Ref: http://www.opensource.org/licenses/mit-license.php.
static unsafe bool UnsafeCompare(byte[] a1, byte[] a2) {
if(a1==a2) return true;
if(a1==null || a2==null || a1.Length!=a2.Length)
return false;
fixed (byte* p1=a1, p2=a2) {
byte* x1=p1, x2=p2;
int l = a1.Length;
for (int i=0; i < l/8; i++, x1+=8, x2+=8)
if (*((long*)x1) != *((long*)x2)) return false;
if ((l & 4)!=0) { if (*((int*)x1)!=*((int*)x2)) return false; x1+=4; x2+=4; }
if ((l & 2)!=0) { if (*((short*)x1)!=*((short*)x2)) return false; x1+=2; x2+=2; }
if ((l & 1)!=0) if (*((byte*)x1) != *((byte*)x2)) return false;
return true;
}
}
o que faz de 64 bits com base de comparação para tanto da matriz quanto possível.Este tipo de conta com o fato de que as matrizes iniciar qword alinhados.Ele vai trabalhar se não qword alinhados, mas não tão rápido como se fosse.
Ele realiza cerca de sete temporizadores mais rápido do que o simples for loop.Usando o J# biblioteca realizadas equivalente ao original for loop.Usando .SequenceEqual é executado em torno de sete vezes mais lento;Eu acho que só porque ele está usando o IEnumerator.MoveNext.Eu imagino que o LINQ soluções à base de, pelo menos, que lento ou pior.
Outras dicas
Você pode usar Enumeráveis.SequenceEqual o método.
using System;
using System.Linq;
...
var a1 = new int[] { 1, 2, 3};
var a2 = new int[] { 1, 2, 3};
var a3 = new int[] { 1, 2, 4};
var x = a1.SequenceEqual(a2); // true
var y = a1.SequenceEqual(a3); // false
Se você não pode usar .NET 3.5 por alguma razão, o método é OK.
Compilador\ambiente de tempo de execução irá otimizar o seu ciclo, assim você não precisa se preocupar com o desempenho.
P/Invoke poderes ativar!
[DllImport("msvcrt.dll", CallingConvention=CallingConvention.Cdecl)]
static extern int memcmp(byte[] b1, byte[] b2, long count);
static bool ByteArrayCompare(byte[] b1, byte[] b2)
{
// Validate buffers are the same length.
// This also ensures that the count does not exceed the length of either buffer.
return b1.Length == b2.Length && memcmp(b1, b2, b1.Length) == 0;
}
Há uma nova solução built-in para isto .NET 4 - IStructuralEquatable
static bool ByteArrayCompare(byte[] a1, byte[] a2)
{
return StructuralComparisons.StructuralEqualityComparer.Equals(a1, a2);
}
Se você não se opõem, ao fazê-lo, você pode importar o J# assembly "vjslib.dll" e use a Matrizes.é igual a(byte[], byte[]) método...
Não me culpe se alguém ri de você embora...
EDITAR:Para o que pouco vale a pena, eu usei Refletor para desmontar o código para que, e aqui é o que parece:
public static bool equals(sbyte[] a1, sbyte[] a2)
{
if (a1 == a2)
{
return true;
}
if ((a1 != null) && (a2 != null))
{
if (a1.Length != a2.Length)
{
return false;
}
for (int i = 0; i < a1.Length; i++)
{
if (a1[i] != a2[i])
{
return false;
}
}
return true;
}
return false;
}
Span<T> oferece um extremamente competitivo alternativa sem ter que jogar confuso e/ou não-portátil buço em seu próprio aplicativo da base de código:
// byte[] is implicitly convertible to ReadOnlySpan<byte>
static bool ByteArrayCompare(ReadOnlySpan<byte> a1, ReadOnlySpan<byte> a2)
{
return a1.SequenceEqual(a2);
}
O (a coragem de a) a implementação de .NET Núcleo 2.2.3 pode ser encontrado aqui.
Eu revista @EliArbel do gist para adicionar este método como SpansEqual, soltar mais o menos interessante que os artistas de outros pontos de referência, executá-lo com diferentes tamanhos de matriz, saída de gráficos, e mark SpansEqual como linha de base para que ele relata de que forma os diferentes métodos para comparar SpansEqual.
Os números abaixo são os resultados, ligeiramente editado para remover o "Erro" de coluna.
| Method | ByteCount | Mean | StdDev | Ratio |
|-------------- |----------- |-------------------:|------------------:|------:|
| SpansEqual | 15 | 3.813 ns | 0.0043 ns | 1.00 |
| LongPointers | 15 | 4.768 ns | 0.0081 ns | 1.25 |
| Unrolled | 15 | 17.763 ns | 0.0319 ns | 4.66 |
| PInvokeMemcmp | 15 | 12.280 ns | 0.0221 ns | 3.22 |
| | | | | |
| SpansEqual | 1026 | 29.181 ns | 0.0461 ns | 1.00 |
| LongPointers | 1026 | 63.050 ns | 0.0785 ns | 2.16 |
| Unrolled | 1026 | 39.070 ns | 0.0412 ns | 1.34 |
| PInvokeMemcmp | 1026 | 44.531 ns | 0.0581 ns | 1.53 |
| | | | | |
| SpansEqual | 1048585 | 43,838.865 ns | 56.7144 ns | 1.00 |
| LongPointers | 1048585 | 59,629.381 ns | 194.0304 ns | 1.36 |
| Unrolled | 1048585 | 54,765.863 ns | 34.2403 ns | 1.25 |
| PInvokeMemcmp | 1048585 | 55,250.573 ns | 49.3965 ns | 1.26 |
| | | | | |
| SpansEqual | 2147483591 | 247,237,201.379 ns | 2,734,143.0863 ns | 1.00 |
| LongPointers | 2147483591 | 241,535,134.852 ns | 2,720,870.8915 ns | 0.98 |
| Unrolled | 2147483591 | 240,170,750.054 ns | 2,729,935.0576 ns | 0.97 |
| PInvokeMemcmp | 2147483591 | 238,953,916.032 ns | 2,692,490.7016 ns | 0.97 |
Fiquei surpreso ao ver SpansEqual não sair por cima para o max-matriz de tamanho métodos, mas a diferença é tão pequeno que eu não acho que isso nunca importa.
Meu sistema de informações:
BenchmarkDotNet=v0.11.5, OS=Windows 10.0.17134.706 (1803/April2018Update/Redstone4)
Intel Core i7-6850K CPU 3.60GHz (Skylake), 1 CPU, 12 logical and 6 physical cores
Frequency=3515626 Hz, Resolution=284.4444 ns, Timer=TSC
.NET Core SDK=2.2.202
[Host] : .NET Core 2.2.3 (CoreCLR 4.6.27414.05, CoreFX 4.6.27414.05), 64bit RyuJIT
DefaultJob : .NET Core 2.2.3 (CoreCLR 4.6.27414.05, CoreFX 4.6.27414.05), 64bit RyuJIT
.NET 3.5 e mais recentes têm um novo tipo de público, System.Data.Linq.Binary que encapsula byte[].Ele implementa IEquatable<Binary> que (em vigor) compara duas matrizes de byte.Note que System.Data.Linq.Binary tem também a conversão implícita de operador de byte[].
Documentação do MSDN:Do sistema.Dados.Linq.Binário
Refletor de descompilar o método de Equals:
private bool EqualsTo(Binary binary)
{
if (this != binary)
{
if (binary == null)
{
return false;
}
if (this.bytes.Length != binary.bytes.Length)
{
return false;
}
if (this.hashCode != binary.hashCode)
{
return false;
}
int index = 0;
int length = this.bytes.Length;
while (index < length)
{
if (this.bytes[index] != binary.bytes[index])
{
return false;
}
index++;
}
}
return true;
}
Interessante é que eles só avance para o byte-a-byte comparação loop se hashes dos dois objetos Binários são os mesmos.Isso, no entanto, vem com o custo de calcular o hash no construtor de Binary objetos (atravessando-se a matriz com for loop :-) ).
A implementação acima significa que, no pior dos casos, você pode ter de atravessar as matrizes três vezes:primeiro para calcular o hash de matriz1, em seguida, para calcular o hash de matriz2 e, finalmente, (porque este é o pior cenário, comprimentos e hashes iguais) para comparar bytes em matriz1 com bytes na tabela 2.
No geral, apesar de System.Data.Linq.Binary é construído em BCL, eu não acho que é o caminho mais rápido para comparar duas matrizes de byte :-|.
Eu postei uma pergunta semelhante sobre como verificar se o byte[] é cheia de zeros.SIMD (código foi espancado assim que eu removi-lo a partir desta resposta.) Aqui é mais rápido código do meu comparações:
static unsafe bool EqualBytesLongUnrolled (byte[] data1, byte[] data2)
{
if (data1 == data2)
return true;
if (data1.Length != data2.Length)
return false;
fixed (byte* bytes1 = data1, bytes2 = data2) {
int len = data1.Length;
int rem = len % (sizeof(long) * 16);
long* b1 = (long*)bytes1;
long* b2 = (long*)bytes2;
long* e1 = (long*)(bytes1 + len - rem);
while (b1 < e1) {
if (*(b1) != *(b2) || *(b1 + 1) != *(b2 + 1) ||
*(b1 + 2) != *(b2 + 2) || *(b1 + 3) != *(b2 + 3) ||
*(b1 + 4) != *(b2 + 4) || *(b1 + 5) != *(b2 + 5) ||
*(b1 + 6) != *(b2 + 6) || *(b1 + 7) != *(b2 + 7) ||
*(b1 + 8) != *(b2 + 8) || *(b1 + 9) != *(b2 + 9) ||
*(b1 + 10) != *(b2 + 10) || *(b1 + 11) != *(b2 + 11) ||
*(b1 + 12) != *(b2 + 12) || *(b1 + 13) != *(b2 + 13) ||
*(b1 + 14) != *(b2 + 14) || *(b1 + 15) != *(b2 + 15))
return false;
b1 += 16;
b2 += 16;
}
for (int i = 0; i < rem; i++)
if (data1 [len - 1 - i] != data2 [len - 1 - i])
return false;
return true;
}
}
Medidos em duas 256MB matrizes de bytes:
UnsafeCompare : 86,8784 ms
EqualBytesSimd : 71,5125 ms
EqualBytesSimdUnrolled : 73,1917 ms
EqualBytesLongUnrolled : 39,8623 ms
using System.Linq; //SequenceEqual
byte[] ByteArray1 = null;
byte[] ByteArray2 = null;
ByteArray1 = MyFunct1();
ByteArray2 = MyFunct2();
if (ByteArray1.SequenceEqual<byte>(ByteArray2) == true)
{
MessageBox.Show("Match");
}
else
{
MessageBox.Show("Don't match");
}
Vamos adicionar mais um!
Recentemente a Microsoft lançou um especial de pacotes NuGet, Do sistema.O tempo de execução.CompilerServices.Inseguro.É especial porque é escrito em IL, e fornece um baixo nível de funcionalidade não disponível no C#.
Um de seus métodos, Unsafe.As<T>(object) permite conjurar qualquer tipo de referência a outro tipo de referência, ignorando quaisquer verificações de segurança.Normalmente, esta é uma muito má idéia, mas se ambos os tipos têm a mesma estrutura, ele pode trabalhar.Então, podemos usar isso para lançar um byte[] para um long[]:
bool CompareWithUnsafeLibrary(byte[] a1, byte[] a2)
{
if (a1.Length != a2.Length) return false;
var longSize = (int)Math.Floor(a1.Length / 8.0);
var long1 = Unsafe.As<long[]>(a1);
var long2 = Unsafe.As<long[]>(a2);
for (var i = 0; i < longSize; i++)
{
if (long1[i] != long2[i]) return false;
}
for (var i = longSize * 8; i < a1.Length; i++)
{
if (a1[i] != a2[i]) return false;
}
return true;
}
Note que long1.Length ainda retornar a matriz original é o comprimento, desde que armazenado em um campo na matriz da estrutura de memória.
Este método não é tão rápido como outros métodos demonstrado aqui, mas é muito mais rápido do que o método ingênuo, não use código não seguro ou P/Invoke ou prendendo, e a implementação é bastante simples (IMO).Aqui estão algumas BenchmarkDotNet resultados da minha máquina:
BenchmarkDotNet=v0.10.3.0, OS=Microsoft Windows NT 6.2.9200.0
Processor=Intel(R) Core(TM) i7-4870HQ CPU 2.50GHz, ProcessorCount=8
Frequency=2435775 Hz, Resolution=410.5470 ns, Timer=TSC
[Host] : Clr 4.0.30319.42000, 64bit RyuJIT-v4.6.1637.0
DefaultJob : Clr 4.0.30319.42000, 64bit RyuJIT-v4.6.1637.0
Method | Mean | StdDev |
----------------------- |-------------- |---------- |
UnsafeLibrary | 125.8229 ns | 0.3588 ns |
UnsafeCompare | 89.9036 ns | 0.8243 ns |
JSharpEquals | 1,432.1717 ns | 1.3161 ns |
EqualBytesLongUnrolled | 43.7863 ns | 0.8923 ns |
NewMemCmp | 65.4108 ns | 0.2202 ns |
ArraysEqual | 910.8372 ns | 2.6082 ns |
PInvokeMemcmp | 52.7201 ns | 0.1105 ns |
Também criei um gist com todos os testes.
Eu desenvolvi um método que ligeiramente batidas memcmp() (plinto da resposta) e muito slighly batidas EqualBytesLongUnrolled() (Arek Bulski resposta) no meu PC.Basicamente, ele desenrola o loop de 4 em vez de 8.
Atualização Em 30 De Mar.2019:
Começando em .NET core 3.0, temos SIMD apoio!
Esta solução é mais rápida por uma margem considerável no meu PC:
#if NETCOREAPP3_0
using System.Runtime.Intrinsics.X86;
#endif
…
public static unsafe bool Compare(byte[] arr0, byte[] arr1)
{
if (arr0 == arr1)
{
return true;
}
if (arr0 == null || arr1 == null)
{
return false;
}
if (arr0.Length != arr1.Length)
{
return false;
}
if (arr0.Length == 0)
{
return true;
}
fixed (byte* b0 = arr0, b1 = arr1)
{
#if NETCOREAPP3_0
if (Avx2.IsSupported)
{
return Compare256(b0, b1, arr0.Length);
}
else if (Sse2.IsSupported)
{
return Compare128(b0, b1, arr0.Length);
}
else
#endif
{
return Compare64(b0, b1, arr0.Length);
}
}
}
#if NETCOREAPP3_0
public static unsafe bool Compare256(byte* b0, byte* b1, int length)
{
byte* lastAddr = b0 + length;
byte* lastAddrMinus128 = lastAddr - 128;
const int mask = -1;
while (b0 < lastAddrMinus128) // unroll the loop so that we are comparing 128 bytes at a time.
{
if (Avx2.MoveMask(Avx2.CompareEqual(Avx.LoadVector256(b0), Avx.LoadVector256(b1))) != mask)
{
return false;
}
if (Avx2.MoveMask(Avx2.CompareEqual(Avx.LoadVector256(b0 + 32), Avx.LoadVector256(b1 + 32))) != mask)
{
return false;
}
if (Avx2.MoveMask(Avx2.CompareEqual(Avx.LoadVector256(b0 + 64), Avx.LoadVector256(b1 + 64))) != mask)
{
return false;
}
if (Avx2.MoveMask(Avx2.CompareEqual(Avx.LoadVector256(b0 + 96), Avx.LoadVector256(b1 + 96))) != mask)
{
return false;
}
b0 += 128;
b1 += 128;
}
while (b0 < lastAddr)
{
if (*b0 != *b1) return false;
b0++;
b1++;
}
return true;
}
public static unsafe bool Compare128(byte* b0, byte* b1, int length)
{
byte* lastAddr = b0 + length;
byte* lastAddrMinus64 = lastAddr - 64;
const int mask = 0xFFFF;
while (b0 < lastAddrMinus64) // unroll the loop so that we are comparing 64 bytes at a time.
{
if (Sse2.MoveMask(Sse2.CompareEqual(Sse2.LoadVector128(b0), Sse2.LoadVector128(b1))) != mask)
{
return false;
}
if (Sse2.MoveMask(Sse2.CompareEqual(Sse2.LoadVector128(b0 + 16), Sse2.LoadVector128(b1 + 16))) != mask)
{
return false;
}
if (Sse2.MoveMask(Sse2.CompareEqual(Sse2.LoadVector128(b0 + 32), Sse2.LoadVector128(b1 + 32))) != mask)
{
return false;
}
if (Sse2.MoveMask(Sse2.CompareEqual(Sse2.LoadVector128(b0 + 48), Sse2.LoadVector128(b1 + 48))) != mask)
{
return false;
}
b0 += 64;
b1 += 64;
}
while (b0 < lastAddr)
{
if (*b0 != *b1) return false;
b0++;
b1++;
}
return true;
}
#endif
public static unsafe bool Compare64(byte* b0, byte* b1, int length)
{
byte* lastAddr = b0 + length;
byte* lastAddrMinus32 = lastAddr - 32;
while (b0 < lastAddrMinus32) // unroll the loop so that we are comparing 32 bytes at a time.
{
if (*(ulong*)b0 != *(ulong*)b1) return false;
if (*(ulong*)(b0 + 8) != *(ulong*)(b1 + 8)) return false;
if (*(ulong*)(b0 + 16) != *(ulong*)(b1 + 16)) return false;
if (*(ulong*)(b0 + 24) != *(ulong*)(b1 + 24)) return false;
b0 += 32;
b1 += 32;
}
while (b0 < lastAddr)
{
if (*b0 != *b1) return false;
b0++;
b1++;
}
return true;
}
Eu ia usar o código não seguro e executar o for loop comparando Int32 ponteiros.
Talvez você deve considerar também a verificação de que as matrizes não-nulo.
Se você olhar como .Rede de seqüência de caracteres.É igual, você verá que ele usa um método privado chamado EqualsHelper que tem uma "inseguro" execução do ponteiro. .NET Refletor é o seu amigo para ver como as coisas são feitas internamente.
Isso pode ser usado como um modelo para a matriz de bytes comparação que eu fiz uma implementação no post de blog Rápido matriz de bytes comparação em C#.Eu também fiz alguns rudimentos de benchmarks para ver quando uma implementação segura é mais rápido do que o inseguro.
O que disse, a menos que você realmente precisa assassino de desempenho, gostaria de ir para um simples padre ciclo de comparação.
Não conseguia encontrar uma solução que eu estou completamente feliz com o (desempenho razoável, mas sem código não seguro/pinvoke), então eu vim com isso, nada de muito original, mas funciona:
/// <summary>
///
/// </summary>
/// <param name="array1"></param>
/// <param name="array2"></param>
/// <param name="bytesToCompare"> 0 means compare entire arrays</param>
/// <returns></returns>
public static bool ArraysEqual(byte[] array1, byte[] array2, int bytesToCompare = 0)
{
if (array1.Length != array2.Length) return false;
var length = (bytesToCompare == 0) ? array1.Length : bytesToCompare;
var tailIdx = length - length % sizeof(Int64);
//check in 8 byte chunks
for (var i = 0; i < tailIdx; i += sizeof(Int64))
{
if (BitConverter.ToInt64(array1, i) != BitConverter.ToInt64(array2, i)) return false;
}
//check the remainder of the array, always shorter than 8 bytes
for (var i = tailIdx; i < length; i++)
{
if (array1[i] != array2[i]) return false;
}
return true;
}
O desempenho em comparação com algumas das outras soluções sobre esta página:
Loop Simples:19837 carrapatos, 1.00
*BitConverter:4886 carrapatos, 4.06
UnsafeCompare:1636 carrapatos, 12.12
EqualBytesLongUnrolled:637 carrapatos, 31.09
P/Invoke memcmp:369 carrapatos, 53.67
Testado em linqpad, 1000000 bytes idênticos matrizes (pior cenário), 500 iterações cada.
Parece que EqualBytesLongUnrolled é o melhor do acima sugerido.
Ignorado métodos (Enumerável.SequenceEqual,StructuralComparisons.StructuralEqualityComparer.É igual), não foram-paciente-para-lenta.No 265MB matrizes de eu ter medido a este:
Host Process Environment Information:
BenchmarkDotNet.Core=v0.9.9.0
OS=Microsoft Windows NT 6.2.9200.0
Processor=Intel(R) Core(TM) i7-3770 CPU 3.40GHz, ProcessorCount=8
Frequency=3323582 ticks, Resolution=300.8802 ns, Timer=TSC
CLR=MS.NET 4.0.30319.42000, Arch=64-bit RELEASE [RyuJIT]
GC=Concurrent Workstation
JitModules=clrjit-v4.6.1590.0
Type=CompareMemoriesBenchmarks Mode=Throughput
Method | Median | StdDev | Scaled | Scaled-SD |
----------------------- |------------ |---------- |------- |---------- |
NewMemCopy | 30.0443 ms | 1.1880 ms | 1.00 | 0.00 |
EqualBytesLongUnrolled | 29.9917 ms | 0.7480 ms | 0.99 | 0.04 |
msvcrt_memcmp | 30.0930 ms | 0.2964 ms | 1.00 | 0.03 |
UnsafeCompare | 31.0520 ms | 0.7072 ms | 1.03 | 0.04 |
ByteArrayCompare | 212.9980 ms | 2.0776 ms | 7.06 | 0.25 |
OS=Windows
Processor=?, ProcessorCount=8
Frequency=3323582 ticks, Resolution=300.8802 ns, Timer=TSC
CLR=CORE, Arch=64-bit ? [RyuJIT]
GC=Concurrent Workstation
dotnet cli version: 1.0.0-preview2-003131
Type=CompareMemoriesBenchmarks Mode=Throughput
Method | Median | StdDev | Scaled | Scaled-SD |
----------------------- |------------ |---------- |------- |---------- |
NewMemCopy | 30.1789 ms | 0.0437 ms | 1.00 | 0.00 |
EqualBytesLongUnrolled | 30.1985 ms | 0.1782 ms | 1.00 | 0.01 |
msvcrt_memcmp | 30.1084 ms | 0.0660 ms | 1.00 | 0.00 |
UnsafeCompare | 31.1845 ms | 0.4051 ms | 1.03 | 0.01 |
ByteArrayCompare | 212.0213 ms | 0.1694 ms | 7.03 | 0.01 |
Eu não tenho visto muitos linq soluções aqui.
Eu não estou certo de que o desempenho, no entanto, implicações eu geralmente stick para linq como regra e, em seguida, otimizar, mais tarde, se necessário.
public bool CompareTwoArrays(byte[] array1, byte[] array2)
{
return !array1.Where((t, i) => t != array2[i]).Any();
}
Por favor, note que isso só funciona se eles são do mesmo tamanho matrizes.uma extensão pode parecer tão
public bool CompareTwoArrays(byte[] array1, byte[] array2)
{
if (array1.Length != array2.Length) return false;
return !array1.Where((t, i) => t != array2[i]).Any();
}
Eu fiz algumas medições utilizando o programa anexo .net 4.7 compilação de versão sem o depurador anexado.Eu acho que as pessoas têm vindo a utilizar o errado métrica desde que você se você se preocupa com a velocidade aqui é quanto tempo demora para descobrir se matrizes de dois bytes são iguais.i.e.a taxa de transferência de bytes.
StructuralComparison : 4.6 MiB/s
for : 274.5 MiB/s
ToUInt32 : 263.6 MiB/s
ToUInt64 : 474.9 MiB/s
memcmp : 8500.8 MiB/s
Como você pode ver, não há maneira melhor do que memcmp e é ordens de magnitude mais rápido.Um simples for loop é a segunda melhor opção.E ainda perturba a minha mente, por que a Microsoft não pode simplesmente incluir uma Buffer.Compare o método.
[Programa.cs]:
using System;
using System.Collections;
using System.Collections.Generic;
using System.Diagnostics;
using System.Linq;
using System.Runtime.InteropServices;
using System.Text;
using System.Threading.Tasks;
namespace memcmp
{
class Program
{
static byte[] TestVector(int size)
{
var data = new byte[size];
using (var rng = new System.Security.Cryptography.RNGCryptoServiceProvider())
{
rng.GetBytes(data);
}
return data;
}
static TimeSpan Measure(string testCase, TimeSpan offset, Action action, bool ignore = false)
{
var t = Stopwatch.StartNew();
var n = 0L;
while (t.Elapsed < TimeSpan.FromSeconds(10))
{
action();
n++;
}
var elapsed = t.Elapsed - offset;
if (!ignore)
{
Console.WriteLine($"{testCase,-16} : {n / elapsed.TotalSeconds,16:0.0} MiB/s");
}
return elapsed;
}
[DllImport("msvcrt.dll", CallingConvention = CallingConvention.Cdecl)]
static extern int memcmp(byte[] b1, byte[] b2, long count);
static void Main(string[] args)
{
// how quickly can we establish if two sequences of bytes are equal?
// note that we are testing the speed of different comparsion methods
var a = TestVector(1024 * 1024); // 1 MiB
var b = (byte[])a.Clone();
// was meant to offset the overhead of everything but copying but my attempt was a horrible mistake... should have reacted sooner due to the initially ridiculous throughput values...
// Measure("offset", new TimeSpan(), () => { return; }, ignore: true);
var offset = TimeZone.Zero
Measure("StructuralComparison", offset, () =>
{
StructuralComparisons.StructuralEqualityComparer.Equals(a, b);
});
Measure("for", offset, () =>
{
for (int i = 0; i < a.Length; i++)
{
if (a[i] != b[i]) break;
}
});
Measure("ToUInt32", offset, () =>
{
for (int i = 0; i < a.Length; i += 4)
{
if (BitConverter.ToUInt32(a, i) != BitConverter.ToUInt32(b, i)) break;
}
});
Measure("ToUInt64", offset, () =>
{
for (int i = 0; i < a.Length; i += 8)
{
if (BitConverter.ToUInt64(a, i) != BitConverter.ToUInt64(b, i)) break;
}
});
Measure("memcmp", offset, () =>
{
memcmp(a, b, a.Length);
});
}
}
}
Para a comparação de curto matrizes de byte seguinte é um interessante hack:
if(myByteArray1.Length != myByteArray2.Length) return false;
if(myByteArray1.Length == 8)
return BitConverter.ToInt64(myByteArray1, 0) == BitConverter.ToInt64(myByteArray2, 0);
else if(myByteArray.Length == 4)
return BitConverter.ToInt32(myByteArray2, 0) == BitConverter.ToInt32(myByteArray2, 0);
Então eu provavelmente iria cair para a solução listados na pergunta.
Seria interessante fazer uma análise de desempenho deste código.
Eu pensei sobre o bloco de transferência de aceleração métodos incorporada em muitos cartões gráficos.Mas, em seguida, você teria que copiar todos os dados de byte-sábio, então isso não ajuda muito se você não quer implementar toda uma parte de sua lógica não gerenciados e dependentes do hardware de código...
Outra forma de otimização, similar à abordagem mostrado acima seria a de armazenar o máximo de dados possível em um tempo [exemplo], em vez de um byte [], desde o início, por exemplo, se você está lendo isso sequencialmente a partir de um arquivo binário, ou se você usar um arquivo de memória mapeada, leia em dados de[] ou único de valores.Em seguida, a sua comparação de loop só vai precisar de 1/8th de o número de iterações que teria de fazer para um byte[] que contém a mesma quantidade de dados.É uma questão de quando e quantas vezes você precisa comparar vs.quando e quantas vezes você precisa de acesso a dados em um byte por byte forma, e.g.para usá-lo em uma chamada de API como um parâmetro em um método que espera um byte[].No final, você só pode dizer se você realmente sabe do caso de uso...
Isto é, quase certamente, muito mais lento do que qualquer outra versão dada aqui, mas foi divertido de escrever.
static bool ByteArrayEquals(byte[] a1, byte[] a2)
{
return a1.Zip(a2, (l, r) => l == r).All(x => x);
}
Eu estabeleci-me em uma solução inspirada pelo EqualBytesLongUnrolled método postado por ArekBulski com um adicional de otimização.No meu exemplo, a matriz de diferenças nas matrizes tendem a ser perto da cauda das matrizes.No teste, eu achei que quando este é o caso de grandes matrizes, sendo capaz de comparar os elementos de um array em ordem inversa, dá a esta solução um enorme ganho de desempenho sobre o memcmp solução.Aqui está a solução:
public enum CompareDirection { Forward, Backward }
private static unsafe bool UnsafeEquals(byte[] a, byte[] b, CompareDirection direction = CompareDirection.Forward)
{
// returns when a and b are same array or both null
if (a == b) return true;
// if either is null or different lengths, can't be equal
if (a == null || b == null || a.Length != b.Length)
return false;
const int UNROLLED = 16; // count of longs 'unrolled' in optimization
int size = sizeof(long) * UNROLLED; // 128 bytes (min size for 'unrolled' optimization)
int len = a.Length;
int n = len / size; // count of full 128 byte segments
int r = len % size; // count of remaining 'unoptimized' bytes
// pin the arrays and access them via pointers
fixed (byte* pb_a = a, pb_b = b)
{
if (r > 0 && direction == CompareDirection.Backward)
{
byte* pa = pb_a + len - 1;
byte* pb = pb_b + len - 1;
byte* phead = pb_a + len - r;
while(pa >= phead)
{
if (*pa != *pb) return false;
pa--;
pb--;
}
}
if (n > 0)
{
int nOffset = n * size;
if (direction == CompareDirection.Forward)
{
long* pa = (long*)pb_a;
long* pb = (long*)pb_b;
long* ptail = (long*)(pb_a + nOffset);
while (pa < ptail)
{
if (*(pa + 0) != *(pb + 0) || *(pa + 1) != *(pb + 1) ||
*(pa + 2) != *(pb + 2) || *(pa + 3) != *(pb + 3) ||
*(pa + 4) != *(pb + 4) || *(pa + 5) != *(pb + 5) ||
*(pa + 6) != *(pb + 6) || *(pa + 7) != *(pb + 7) ||
*(pa + 8) != *(pb + 8) || *(pa + 9) != *(pb + 9) ||
*(pa + 10) != *(pb + 10) || *(pa + 11) != *(pb + 11) ||
*(pa + 12) != *(pb + 12) || *(pa + 13) != *(pb + 13) ||
*(pa + 14) != *(pb + 14) || *(pa + 15) != *(pb + 15)
)
{
return false;
}
pa += UNROLLED;
pb += UNROLLED;
}
}
else
{
long* pa = (long*)(pb_a + nOffset);
long* pb = (long*)(pb_b + nOffset);
long* phead = (long*)pb_a;
while (phead < pa)
{
if (*(pa - 1) != *(pb - 1) || *(pa - 2) != *(pb - 2) ||
*(pa - 3) != *(pb - 3) || *(pa - 4) != *(pb - 4) ||
*(pa - 5) != *(pb - 5) || *(pa - 6) != *(pb - 6) ||
*(pa - 7) != *(pb - 7) || *(pa - 8) != *(pb - 8) ||
*(pa - 9) != *(pb - 9) || *(pa - 10) != *(pb - 10) ||
*(pa - 11) != *(pb - 11) || *(pa - 12) != *(pb - 12) ||
*(pa - 13) != *(pb - 13) || *(pa - 14) != *(pb - 14) ||
*(pa - 15) != *(pb - 15) || *(pa - 16) != *(pb - 16)
)
{
return false;
}
pa -= UNROLLED;
pb -= UNROLLED;
}
}
}
if (r > 0 && direction == CompareDirection.Forward)
{
byte* pa = pb_a + len - r;
byte* pb = pb_b + len - r;
byte* ptail = pb_a + len;
while(pa < ptail)
{
if (*pa != *pb) return false;
pa++;
pb++;
}
}
}
return true;
}
Desculpe, se você está procurando uma forma de gestão de você já está fazendo isso corretamente e para meu conhecimento, não há nenhum método incorporado na BCL para fazer isso.
Você deve adicionar algum inicial nulo controlos e, em seguida, reutilizar, como, onde, em BCL.
Utilização SequenceEquals para esta comparação.
A resposta curta é essa:
public bool Compare(byte[] b1, byte[] b2)
{
return Encoding.ASCII.GetString(b1) == Encoding.ASCII.GetString(b2);
}
De tal forma que você pode usar o otimizado .NET comparação de seqüência de caracteres para fazer uma matriz de bytes comparar, sem a necessidade de escrever código não seguro.Esta é a forma como ele é feito na fundo:
private unsafe static bool EqualsHelper(String strA, String strB)
{
Contract.Requires(strA != null);
Contract.Requires(strB != null);
Contract.Requires(strA.Length == strB.Length);
int length = strA.Length;
fixed (char* ap = &strA.m_firstChar) fixed (char* bp = &strB.m_firstChar)
{
char* a = ap;
char* b = bp;
// Unroll the loop
#if AMD64
// For the AMD64 bit platform we unroll by 12 and
// check three qwords at a time. This is less code
// than the 32 bit case and is shorter
// pathlength.
while (length >= 12)
{
if (*(long*)a != *(long*)b) return false;
if (*(long*)(a+4) != *(long*)(b+4)) return false;
if (*(long*)(a+8) != *(long*)(b+8)) return false;
a += 12; b += 12; length -= 12;
}
#else
while (length >= 10)
{
if (*(int*)a != *(int*)b) return false;
if (*(int*)(a+2) != *(int*)(b+2)) return false;
if (*(int*)(a+4) != *(int*)(b+4)) return false;
if (*(int*)(a+6) != *(int*)(b+6)) return false;
if (*(int*)(a+8) != *(int*)(b+8)) return false;
a += 10; b += 10; length -= 10;
}
#endif
// This depends on the fact that the String objects are
// always zero terminated and that the terminating zero is not included
// in the length. For odd string sizes, the last compare will include
// the zero terminator.
while (length > 0)
{
if (*(int*)a != *(int*)b) break;
a += 2; b += 2; length -= 2;
}
return (length <= 0);
}
}
Uma vez que muitos a fantasia soluções acima não funcionam com o UWP e porque eu amo o Linq e funcionais I pressent você a minha versão para este problema.Para escapar da comparação quando a primeira diferença ocorra, eu escolhi .FirstOrDefault()
public static bool CompareByteArrays(byte[] ba0, byte[] ba1) =>
!(ba0.Length != ba1.Length || Enumerable.Range(1,ba0.Length)
.FirstOrDefault(n => ba0[n] != ba1[n]) > 0);
Se você está procurando um muito rápido matriz de bytes igualdade comparador, eu sugiro que você dê uma olhada nesta STSdb Labs artigo: Matriz de bytes igualdade comparador. Possui algumas das mais rápidas implementações para byte[] matriz de igualdade de comparação, que são apresentados, o desempenho testado e resumidos.
Você também pode se concentrar sobre essas implementações:
BigEndianByteArrayComparer - rápido byte[] matriz comparador da esquerda para a direita (big-endian) BigEndianByteArrayEqualityComparer - - rápido byte[] igualdade comparador da esquerda para a direita (big-endian) LittleEndianByteArrayComparer - rápido byte[] matriz comparador da direita para a esquerda (LittleEndian) LittleEndianByteArrayEqualityComparer - rápido byte[] igualdade comparador da direita para a esquerda (LittleEndian)
No caso de você ter uma enorme matriz de bytes, você pode compará-los, convertendo-os para a cadeia.
Você pode usar algo como
byte[] b1 = // Your array
byte[] b2 = // Your array
string s1 = Encoding.Default.GetString( b1 );
string s2 = Encoding.Default.GetString( b2 );
Eu tenho usado isso e eu tenho visto um grande impacto no desempenho.
