持久性：数据树存储为目录树

Question

我想知道将内存树结构存储为目录树以用于持久性目的的实用性。在我的例子中，他的目标文件系统将是 ZFS，并且一旦创建该结构，它将很少被多个进程访问。

使用目录树作为数据树的持久性机制的性能如何？

Answer 1

为了读取和写入树，您将在每个节点上多次调用文件系统。这比你设计用于记忆图像的任何理智代码要贵得多。

这是否合理，取决于您的使用模式。如果在典型的代码调用中，您希望在整个树结构中进行读取，对其进行处理，然后将其全部写出来 - 最好将其编组为单个文件。但是，如果您希望只读取/处理/变异几个节点，在大多数树中没有读取，则在遍历目录结构和执行多个搜索/读取之间的性能差异存储在单个文件中的树将小得多，并且为了简单/清晰/避免重新发明轮子，可能值得做前者。此外，如果多个进程同时执行此操作，则使用基于目录的方法可以更轻松地锁定节点和子树。

请注意，对于某些常用文件系统，打开目录条目的时间取决于目录中的条目总数。

编辑：对于网站的CGI后端，我用ext3做了类似的事情;没有重新发明轮子使原型制作更快，维护更简单，读取/写入/锁定相当好，但非常频繁的更改 - 大约每秒数百个 - 到目录结构本身在实际存储上运行不佳;最后我重组了一些内容，以便目录条目中经常添加/删除目录条目的部分最终会出现在tmpfs卷上 - 对我而言，这组状态可以（昂贵地）从存储在不易变化的存储中的状态重建重启后。我对ZFS没什么经验，也不知道你想要的使用模式，所以不知道这对你来说是否有问题。如果我现在为一个使用频率很高的网站做这个，我可能会改为使用我自己的命名锁库。

Answer 2

大多数文件系统都经过优化，可以访问打开的文件，因此打开/关闭文件需要很长时间。如果树的每片叶子都很小，那么读/写整个结构所需的时间会比需要的时间长很多。

此外，大多数文件系统都有一个最小的分配块，通常大约2-8KB。如果你的叶子比这小得多，你就会浪费很多空间。

简而言之，你的叶子越小，想法越差。

Answer 3

如果我理解正确你正在讨论构建一个树形结构，它会给出你的文件系统的代码内表示，所以我怀疑你在你的树形结构中读取时会产生开销，但随后的树的查找和遍历可能比每次访问磁盘存储更快。

Answer 4

可能的问题：

• 它可能会导致磁盘空间的使用效率低下（在许多文件系统中，目录是一个文件，因此占用磁盘上的整个块......）
• 读/写会很慢，因为您进行了多次文件系统访问
• 文件系统可能/将会对每个项目名称的长度和/或可用于名称的字符施加限制
• 其他进程很容易损坏您的数据和/或需要相当大的锁定成本
• 使用固态“磁盘”时，这可能会导致比其他方法更多的写入并缩短介质的寿命

底线：这可能不值得。