读取大文件的小分离块（C++）

Question

我正在读取专有的二进制数据文件格式。所述格式基本上报头，数据，size_of_previous_data，报头，数据，size_of_previous_data，报头，数据，size_of_previous_data，...头的 部分包括数据的下一个块的字节数以及后被立即列出其大小数据。标题为256字节，数据通常为〜2MB，size_of_previous_data为32位int。

的文件一般都很大〜GB，我经常有几十，通过他们对我想要的数据进行搜索。为了做到这一点，我在代码中做的第一件事是每个文件都是idex，即只读入头文件并记录相关数据的位置（文件和字节数）。我的代码基本上使用fstream :: read（）准备好头文件，检查数据大小，使用fstream :: seekg（）跳过数据，然后读入size_of_previous_data，然后重复，直到到达文件末尾。

我的问题是，这个索引是痛苦的缓慢。数据在我的Windows 10笔记本电脑上的内部7200 rpm硬盘驱动器上，任务管理器显示我的硬盘驱动器使用率已达到最大，但我的读取速度仅为1.5 MB/s，响应时间通常> 70 ms。我正在使用fstream :: get（）读取文件，使用std :: fstream读取头文件并将fstream :: seekg（）移至下一个头文件。

我已经异型我的代码，并几乎全部时间都花在了的fstream ::阅读（）的代码读取size_of_previous_data值。我认为当我这样做时，数据立即被缓冲，所以我的fstream :: read（）获得下一个头几乎没有时间。

所以我想知道如果有一种方法来优化呢？几乎在任何缓冲读取中，我的整个缓冲区都可能被浪费（如果它是8kB缓冲区，则其中的97％会被浪费）。有没有办法缩小这个值，是否值得这么做（也许底层操作系统缓冲区也是我无法改变的）？

Answer 1

假设磁盘查找大约需要10 ms（来自Latency Numbers Every Programmer Should Know），则您的文件为11 GB，由2 MB块组成，理论最小运行时间为5500 * 10 ms = 55秒。

如果您在幅度上的顺序是已经，加快这件事的最有效的方式可能是购买一个SSD。