文件系统
新文件系统的目标是通过更加多变的分配原则来获得更好的访问局部性以提升磁盘的吞吐率,并适配更多的外围设备和处理器特征。
旧文件系统
文件系统中每个磁盘被分成一个或多个分区,每个都包含一个文件系统,一个文件系统不会跨越多个分区。文件系统被它的 superblock 描述,包括基本常量,文件的最大数目,指向 freelist 的指针,空块的链表。文件系统内是文件,一些文件被当作目录,包含了指向其他文件(其中一些是目录)的指针。每个文件有一个 inode 和它相连。inode 包含文件的所有者,上次修改,上次访问的时间戳,文件包含数据块的索引数组。 这样设计的问题在于将 inode 用 data 隔开,导致寻找文件需要查找很多非连续的块。 Berkeley 做的第一件事就是增加文件系统的可靠性和吞吐率。加强可靠性的方式是进行对关键系统信息的修改使文件在崩溃后能够进行复原或完成。性能的增加通过将基本块大小从 512 变成 1024。但是即使做了这样的修改,也只使用了硬盘的 4% 的带宽。主要问题是随着文件的创建和删除,freelist 会变得完全随机,导致大文件的数据块在硬盘中随机分布,
新文件系统
与旧文件系统相同的是,每个磁盘包括一个或多个文件系统。一个文件系统由一个位于文件系统的磁盘分区开头的超级块来描述,因为超级块包含了关键文件,所以为超级块创建了备份以防止破坏性损失。 为了保证能够创建 $2^{32}$ 大小的文件,最小文件块为 4096 bytes。文件系统的块大小可以是 4096 的任意 2 的倍数,块大小会被记录在超级块中。 将硬盘分区分成多个名叫柱面组。一个柱面组包含了一个或多个磁盘上连续的柱面。每个柱面组包含有超级块的多余备份,inode 的空间,记录可用块的 bitmap。bitmap 用来取代传统的 freelist 以记录可用的块,好处在于不会因为文件系统使用时间的增长而导致freelist 变得随机从而丧失连续性。每个柱面组包含了固定数量的 inode。 如果将超级块的多余备份全部放在顶盘。一次简单的硬件错误就可能摧毁所有柱面组的记录信息。因此,不同柱面组的记录信息的偏移量和相邻柱面组有一个轨道的差别。 大数据块的问题在于 unix 系统由很多小文件组成(实际上虽然现在大文件很多,但是小文件的数量还是非常可观的)。为了防止浪费,新文件系统支持对一个文件系统块的分割(分割成碎片)。碎片大小在文件系统创建的时候设定,每个系统块可以被分成 2,4,8 个碎片。如果一个程序需要 11 个碎片,而一个块分成 4 个碎片,如果没有一个块有 3 个空闲的碎片,就将一个新的块分成 4 个碎片。 当程序进行 write 系统调用的时候,操作系统会检查文件大小是否增加,会有以下三种情况:
-
当前块或者碎片有足够的空间。可以直接分配。
-
文件没有碎片(而且块中没有足够的空间)。如果添加的文件大小大于一个块,就分配一个块直到需要分配的空间小于一个块,分配适当的碎片数或者一个块。
-
文件有一个或者多个碎片。如果新数据和碎片中的数据加起来大于一个块,就新分配一个块,碎片中的数据会被复制到新块的开头,然后就是(2)情况。
4096/1024 文件系统中的空间浪费被证实和1024-旧文件系统相近, 4096/512 和 512-UNIX文件系统差不多,新文件系统使用更少的空间来定位大文件,相同的空间来定位小文件。 为了保证分配策略的高效性,文件系统不能被完全分配,每个文件系统会有一个常数,当文件系统中可分配的空块小于这个数值的时候,只有管理员能够继续分配。如果文件系统的空间被完全分配,由于无法将文件缓存(利用局部性),吞吐率会降低到原来的1/2.
参数化
旧文件系统忽略了底层硬件的参数,新文件系统进行参数化以适应各种磁盘的特征。 对于大规模存储设备比如磁盘,文件系统会将相同文件的块分配在同一个柱面中。最优情况下,这些新块需要适合(磁盘)旋转地放置(以下称旋转最优),“适合旋转的放置”可以是相邻的块,或者根据系统参数有旋转延迟的位置 每个磁盘的物理参数包括每个磁道上的块数目,磁盘的旋转速率,用于计算跳过一个块所需的时间。处理器的参数包括触发一个中断并调度一个磁盘转移的时间。当分配一个新块给文件的时候,分配策略会计算跳过块的个数。为了加速运算,超级块中维护了rational layout table。如果文件系统的参数设计成2ms 而处理器需要 4ms 来调度一个磁盘读写,吞吐量会降低一半。
分配原则
文件系统的分配原则可以分成两个方面,一方面是全局原则,使用文件系统的简要信息来选择 inode 和数据块的放置位置,以及旋转最优块,寻找一个新柱面组的时机。
分配原则需要引用的文件数据不能太少也不能太多,需要进行平衡。分配策略有两方面的考虑: a. inode 文件的使用。分配原则尝试将统一目录下的文件放在同一柱面组。新目录会被分配在有超过平均数值的空 inode 数的柱面组下,这个策略保证了inode 的簇聚性在大部分情况下能够成立。 b. datablocks。将相同文件的数据块放在同一个柱面组中。这样的问题在于大文件会很快用尽柱面组中的空间,因此需要进行分段,找到一个空块数大于平均的柱面组放置。 全局原则会调用局部原则以请求特别的数据块。局部分配策略会在请求块是空的时候进行分配,否则会分配一个旋转最优的空块。如果全局分配原则有足够的信息,总能找到适合大小的空块,这样分配策略就只剩下信息记录的工作。但是,维护完整的信息耗费巨大,所以全局分配策略使用启发式策略,仅仅记录部分信息。如果一个被请求的块不可用,局部策略会使用四级分配策略:
-
使用旋转最优块
-
如果当前柱面没有可用块,使用同柱面组的块。
-
如果柱面组全都满了,二次哈希柱面组号来找到其他的柱面组以寻找空块。
-
如果哈希失败,对所有的柱面组进行遍历
使用二次哈希因为这种方法在几乎满的哈希表中寻找未使用的槽速度非常快。
功能增强
长文件名
文件名可以是任意长度,只有读取目录的程序才会受到影响。目录在一个 512bytes 的单元 chunk 中分配。之所以这个大小是因每个分配都可以在单次操作中传输到硬盘。chunk 被分成可变长的目录条目。每个条目都包括找到 inode 的必要信息,目录条目的前三个字段是 inode 号,字段长度,文件名长度。
文件锁
旧文件系统采用另外的锁文件来来实现同步。这种方式有三个缺点:1.进程会消耗CPU时间来反复尝试创建锁。2.系统崩溃后必须手动清除锁。3.管理员模式下的进程总是被允许创建文件,所以需要采用不同的机制。新文件系统提供了共享锁和排他锁,这些锁只能被咨询,即使一个进程已经拥有了锁,其他进程也可以访问这些锁文件。
符号链接
传统的链接无法跨越文件系统,符号连接可以解决这个问题。
重命名
传统的重命名需要调用三个系统调用,如果中途系统崩溃,目标文件会只剩下暂时的名字。新的重命名操作会保证目标文件的名字的存在。
总结
新文件系统优化的关键在于:在文件写入的时候就充分考虑了文件访问的局部性原理,加速了文件读取;采用参数化适配不同的硬件。
为了体现局部性的同时减少内碎片,文件系统创造性的使用了碎片-块-柱面-柱面组-分区这样的层次结构,在保证局部性能够比较好体现的同时,也让文件系统碎片较少出现。
局部性主要体现在柱面和柱面组的层面,而碎片和块主要使应对内碎片的产生。在这种层次结构下,文件系统采用了局部-全局两种分配策略,既能够把控全局,又能够精细管理每个柱面。同时,二次哈希算法的使用保证了分配的高效性。
参数化的主要方式是利用 cpu 和磁盘的信息,得到最优的“下一个”分区位置,让文件系统局部性能够在不同的设备上更好的体现。