革新AI训练手段：EROFS文件系统实现48位地址扩展，打破16TiB存储上限

3月24日，科技媒体Phoronix发布了一篇关于Linux 6.15内核周期即将来临的文章，其中透露了一个重要信息：开源的只读文件系统EROFS将迎来重大升级，以满足AI模型训练对海量数据处理的挑战。此次升级的一个关键变化是增添了48位寻址支持，这将大幅提升文件系统的存储容量，特别适用于处理AI训练中的大型数据集和对象存储客户端的需求。

目前，EROFS的32位块寻址限制了其最大文件系统容量，仅为16TiB（使用4KiB块）。新引入的48位寻址不仅解决了这一限制，还扩展了核心磁盘结构，包括inode、设备槽和inode块，以及引入了32字节紧凑inode的mtime字段，以支持更为精细的时间戳功能。

此外，这次更新还着重优化了压缩性能。特别是对于Zstd压缩算法，新版引入了字节导向的编码扩展，使压缩器能够保持其现有方法，从而提高了效率。在测试中，使用48位寻址后，Zstd镜像构建时间得到了显著缩短，例如在Intel Xeon Platinum 8163 CPU上，构建时间从原来的3分52秒缩短到了仅仅12秒。

值得一提的是，EROFS（Enhanced Read-Only File System，增强型只读文件系统）是由华为开发，现由全球开源社区共同维护的轻量级系统。它的设计初衷不仅在于节省存储空间，更追求在只读应用场景下提供卓越的性能表现。