最快SHA1功能（Linux操作系统，最大支持2GB的文件）

题

是否有任何用于产生上的大文件（<2GB）？

SHA1的性能十分出色Linux命令行执行

我与“OpenSSL的SHA1”发挥各地，它需要几分钟来获得2GB的文件SHA1：/.

解决方案

我不认为一个SHA算法可以用于尺寸被优化，因为它在一个固定大小的块进行操作，并计算不能并行完成。看来，在一个小文件，最快的实现也将是最快的一个大文件。

其他提示

在我的机器，为1GB的文件，用足够的内存来有缓存在存储器中的第一运行后整个文件：

sha1sum: 3.92s
openssl sha1: 3.48s
python hashlib.sha1: 3.22s

它需要分钟，以获得用于SHA1一个2GB文件

有什么东西不对劲的地方的话，除非你使用慢得令人难以置信旧的硬件。即使是在第一次运行，其中正在直接从光盘读取文件，它只是采取“OpenSSL的SHA1” 20s左右每演出我的机器上。你是否有在一般的慢I / O问题？

您的问题是可能的磁盘I / O。在一个旧2.0GHz的双核处理器的基本SHA1实现可以在100MiB / s的处理的/ dev /零 - 比通常与这样的系统最配对硬盘快

让我们看看你目前看到的（和以什么规格硬件）的速度。

如果你没有特别需要的SHA1，但正在寻找的校验和大型文件，Sha512sum会更快大文件，因为它在大尺寸的块读

sha1sum是什么，我会使用计算SHA-1校验...它的设计只做一两件事，所以我就希望它是尽可能快地实际可能。我没有任何2GB的文件，以基准它虽然： - （

修改的：当它看起来像我的系统上的限制因素的ISO映像上的一些测试是磁盘I / O速度 - 并不奇怪，但我觉得有点傻没有想到的是早期。一旦这样纠正，好像OpenSSL是约快两倍，SHA1SUM ...

许可以下： CC-BY-SA 和归因