从文件中读取数字列表的最快方法

Question

我在Stack Overflow中发现了一些类似的问题，但我相信我可以从特定于我的案例的建议中受益。

我必须在一个文件中存储大约8万个实值数字列表，并在稍后读取它们。

首先，我想cPickle，但阅读时间没有吸引力：

>>> stmt = """ 
with open('pickled-data.dat') as f: 
    data = cPickle.load(f) 
""" 
>>> timeit.timeit(stmt, 'import cPickle', number=1) 
3.8195440769195557 

后来我发现，存储数字作为明文允许更快的读取（有道理的，因为cPickle必须担心很多东西）：

>>> stmt = """ 
data = [] 
with open('text-data.dat') as f: 
    for line in f: 
     data.append([float(x) for x in line.split()]) 
""" 
>>> timeit.timeit(stmt, number=1) 
1.712096929550171 

这是一个很好的改善，但我认为我仍然可以优化它在某种程度上，因为其他语言编写的程序可以从文件中显着更快的读取类似的数据。

任何想法？

Answer 1

如果numpy的阵列是可行的，numpy.fromfile将可能是读取文件（这里有一个somewhat related question我问只是一对夫妇日前）

或者，好像你的表现会更好一点与struct最快的选项，尽管我还没有测试过它：

import struct 
def write_data(f,data): 
    f.write(struct.pack('i',len())) 
    for lst in data: 
     f.write(struct.pack('i%df'%len(lst),len(lst),*lst)) 

def read_data(f): 
    def read_record(f): 
     nelem = struct.unpack('i',f.read(4))[0] 
     return list(struct.unpack('%df'%nelem,f.read(nelem*4))) #if tuples are Ok, remove the `list`. 

    nrec = struct.unpack('i',f.read(4))[0] 
    return [ read_record(f) for i in range(nrec) ] 

这假定将数据存储为4字节的浮点数就足够了。如果您想要一个真正的双精度数字，请将格式语句从f更改为d并将nelem*4更改为nelem*8。这里可能存在一些次要的可移植性问题（例如，数据类型的字节顺序和sizeof）。