.NET二进制文件读取性能

Question

我有一个非常大的二进制文件集，其中几千个原始视频帧正在顺序读取和处理，我现在正在寻找优化它，因为它似乎是更CPU的约束比I/O限制。

目前正在读这样的框架，我怀疑这是最大的罪魁祸首：

private byte[] frameBuf; 
BinaryReader binRead = new BinaryReader(FS); 

// Initialize a new buffer of sizeof(frame) 
frameBuf = new byte[VARIABLE_BUFFER_SIZE]; 
//Read sizeof(frame) bytes from the file 
frameBuf = binRead.ReadBytes(VARIABLE_BUFFER_SIZE); 

难道多大的差别在.NET重新组织的I/O，以避免用每一帧创建所有这些新的字节数组？

我对.NET的内存分配机制的理解很薄弱，因为我来自纯C/C++背景。我的想法是重新写这个来共享一个静态缓冲类，它包含一个非常大的共享缓冲区，其中包含一个整数来跟踪帧的实际大小，但我喜欢当前实现的简单性和可读性，并且宁愿保留它CLR已经以某种我不知道的方式处理这个问题。

任何输入，将不胜感激。

Answer 1

如果您使用binRead.ReadBytes，则不需要初始化frameBuf - 您将返回一个新的字节数组，它将覆盖刚创建的字节数组。尽管如此，这确实会为每次读取创建一个新数组。

如果你想避免创建一堆字节数组，你可以使用binRead.Read，这将把字节放到你提供给它的数组中。但是，如果其他线程正在使用该阵列，他们会看到它的内容正好在它们的前面。确保您可以保证在重新使用之前完成缓冲区。

Answer 2

你需要小心这里。在这样的代码上获得完全虚假的测试结果是非常容易的，这种结果在实际使用中从不复制。问题在于文件系统缓存，它会缓存从文件中读取的数据。当您重复运行测试，调整代码并寻找改进时，麻烦就开始了。

第二次，随后您运行测试，数据不再脱离磁盘。它仍然存在于缓存中，它只需要一个从内存到内存的拷贝就可以将它放到你的程序中。这非常快，大约需要几微秒的开销和复制所需的时间。它以总线速度运行，现代机器至少每秒5千兆字节。

现在，您的测试将显示您花费大量时间分配缓冲区并处理数据，相对于读取数据所花费的时间。

这在实际使用中很少再现。数据将不会在缓存中，现在流氓磁盘驱动器需要查找数据（很多毫秒），需要从磁盘上读取数据（每秒几十兆字节）。现在读取数据需要四个时间长度中的三个。如果你设法让处理步骤快两倍，你的程序实际上只会运行速度提高0.05％。给或拿。