与SHA家族功能相比，计算MD5哈希的CPU密集型少吗？
https://stackoverflow.com/questions/2722943
-
01-10-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian题
在“标准”笔记本电脑X86硬件上，计算MD5哈希的CPU密集型少于SHA-1或SHA-2？我对一般信息感兴趣，而不是特定的芯片。
更新：就我而言，我有兴趣计算文件的哈希。如果文件大小很重要，让我们假设其300k。
解决方案
是的，MD5少于CPU密集型。在我的Intel X86（Core2 Quad Q6600，2.4 GHz，使用一个核心）上，我以32位模式获得了此信息：
MD5 411
SHA-1 218
SHA-256 118
SHA-512 46
这在64位模式下：
MD5 407
SHA-1 312
SHA-256 148
SHA-512 189
数字是每秒的兆字节，对于“长”消息（这是您收到的消息超过8 kb）。这与 Sphlib, ，C（和Java）中的哈希函数实现库。所有实现均来自同一位作者（ME），并在优化方面做出了可比的努力；因此，速度差异可以被认为是函数的固有。
作为比较的点，考虑到最近的硬盘将以约100 mb/s的速度运行，而USB上的任何东西都将低于60 MB/s。即使SHA-256在这里出现“慢”，但对于大多数目的而言，它也足够快。
注意 Openssl 包括SHA-512的32位实现，该实现比我的代码快得多（但不如64位SHA-512），因为OpenSSL实现是汇编和使用SSE2寄存器，这是无法完成的。普通C. SHA-512是从SSE2实施中受益的四个功能中唯一的功能。
编辑： 上 这一页, ，可以找到有关许多哈希功能速度的报告（单击“ Telechargez Maintenant”链接）。该报告用法语，但大部分充满了表格和数字，数字是国际的。实施的哈希功能不包括SHA-3候选人（Shabal除外），但我正在努力。
其他提示
在我的2012 MacBook Air（Intel Core i5-3427U，2x 1.8 GHz，2.8 GHz Turbo）上，SHA-1略快于MD5（在64位模式下使用OpenSSL）：
$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 30055.02k 94158.96k 219602.97k 329008.21k 384150.47k
sha1 31261.12k 95676.48k 224357.36k 332756.21k 396864.62k
更新： 10个月后，使用OS X 10.9，SHA-1在同一台机器上变慢：
$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 36277.35k 106558.04k 234680.17k 334469.33k 381756.70k
sha1 35453.52k 99530.85k 206635.24k 281695.48k 313881.86k
第二个更新： 在OS X 10.10上，SHA-1速度回到10.8级：
$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 35391.50k 104905.27k 229872.93k 330506.91k 382791.75k
sha1 38054.09k 110332.44k 238198.72k 340007.12k 387137.77k
第三更新： 使用Libressl的OS X 10.14快得多（仍在同一台计算机上）。 SHA-1仍然排在首位：
$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 43128.00k 131797.91k 304661.16k 453120.00k 526789.29k
sha1 55598.35k 157916.03k 343214.08k 489092.34k 570668.37k
真正的答案是： 这取决于
有两个因素需要考虑，最明显的是：您正在运行这些算法的CPU和算法的实现。
例如，我和我的朋友都运行了完全相同的OpenSSL版本，并使用不同的Intel Core i7 CPU获得略有不同的结果。
我与Intel（R）Core（TM）I7-2600 CPU的测试
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 64257.97k 187370.26k 406435.07k 576544.43k 649827.67k
sha1 73225.75k 202701.20k 432679.68k 601140.57k 679900.50k
和他的Intel（R）核心（TM）I7 CPU 920 @ 2.67GHz
The 'numbers' are in 1000s of bytes per second processed.
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
md5 51859.12k 156255.78k 350252.00k 513141.73k 590701.52k
sha1 56492.56k 156300.76k 328688.76k 452450.92k 508625.68k
我们俩都在2014年10月15日从Archlinux官方包装中运行OpenSSL 1.0.1J的二进制文件。
我对此的看法是，随着SHA1的增加安全性，CPU设计人员更有可能提高SHA1的速度，而更多的程序员将比MD5SUM进行算法的优化。
我想MD5将不再使用一天，因为它似乎没有SHA1没有优势。我还在实际文件上测试了一些情况，两种情况下的结果始终相同（可能受磁盘I/O的限制）。
大型4.6GB文件的MD5SUM比同一文件的SHA1SUM完全相同，许多小文件（同一目录中的488个）也是如此。我进行了十二次测试，他们一定会得到相同的结果。
--
进一步研究这将非常有趣。我猜周围有一些专家可以为为什么SHA1在新处理器上比MD5快得多。
MD5也从SSE2使用中受益，查看BARSWF，然后告诉我没有。它只需要一点汇编器知识，您可以制作自己的MD5 SSE2例程。但是，对于大量的吞吐量，在哈希期间的速度有一个折衷，而不是将输入数据重新排列以与所使用的SIMD指令兼容的时间。
SHA1SUM在Power9上比MD5SUM快得多
$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux
$ cat /proc/cpuinfo
processor : 0
cpu : POWER9, altivec supported
clock : 2166.000000MHz
revision : 2.2 (pvr 004e 1202)
$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar
$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563 linux-master.tar
real 0m1.685s
user 0m1.528s
sys 0m0.156s
$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4 linux-master.tar
real 0m2.942s
user 0m2.806s
sys 0m0.136s
$ time sum linux-master.tar
36928 810240
real 0m2.186s
user 0m1.917s
sys 0m0.268s
