将文件读入字符串列表的最有效方式

问题描述：

从读取文本文件到erlang中的二进制字符串列表所用时间的最有效方式是什么？明显的解决方案将文件读入字符串列表的最有效方式

-module(test). 
-export([run/1]). 

open_file(FileName, Mode) -> 
    {ok, Device} = file:open(FileName, [Mode, binary]), 
    Device. 

close_file(Device) -> 
    ok = file:close(Device). 

read_lines(Device, L) -> 
    case io:get_line(Device, L) of 
     eof -> 
      lists:reverse(L); 
     String -> 
      read_lines(Device, [String | L]) 
    end. 

run(InputFileName) -> 
    Device = open_file(InputFileName, read), 
    Data = read_lines(Device, []), 
    close_file(Device), 
    io:format("Read ~p lines~n", [length(Data)]).

当文件包含超过100000行时变得太慢。

你为什么要将读取的内容传递给get_line作为提示？ – Zed 2010-01-31 14:09:08

@Zed，那是我的错。现在所有人都以可接受的速度工作。谢谢！有时候我希望erlang拥有一个强大的类型系统...... – Konstantin 2010-01-31 22:32:53

答

{ok, Bin} = file:read_file(Filename).

，或者如果您通过线所需要的内容，行

read(File) -> 
    case file:read_line(File) of 
     {ok, Data} -> [Data | read(File)]; 
     eof  -> [] 
    end.

答

在成二进制读取整个文件。转换为列表并翻出行。

这比任何其他方法效率更高。如果你不相信我时间它。

 
file2lines(File) -> 
    {ok, Bin} = file:read_file(File), 
    string2lines(binary_to_list(bin), []). 

string2lines("\n" ++ Str, Acc) -> [reverse([$\n|Acc]) | string2lines(Str,[])]; 
string2lines([H|T], Acc)  -> string2lines(T, [H|Acc]); 
string2lines([], Acc)   -> [reverse(Acc)].

将文件读入字符串列表的最有效方式

相关推荐