处理comp3和Java中的ebcidic转换为大文件的ASCII

Question

我想转换我的java代码中的comp3和EBCIDIC字符，但即时通讯运行到内存不足异常，因为处理的数据量大约为5 GB。我的代码是目前如下：

byte[] data = Files.readAllBytes(path); 

这导致一个内存溢出异常，我可以理解，但我不能使用文件扫描器以及因为文件中的数据不会被分成行。

任何人都可以点我如何处理这个

注意正确的方向：该文件可能包含不同长度的记录，因此根据记录长度的接缝不可能的分裂它。

Answer 1

作为条例草案说你可以（应该）要求将数据转换为在大型机上显示字符，如果英语说，你可以做一个ascii转移。

也如何你决定在哪里comp-3字段开始???

---

您不必读取整个文件到内存中，你仍然可以读取块中的文件，此方法将字节数组：

protected final int readBuffer(InputStream in, final byte[] buf) 
throws IOException { 

    int total = 0; 
    int num = in.read(buf, total, buf.length); 

    while (num >= 0 && total + num < buf.length) { 
     total += num; 
     num = in.read(buf, total, buf.length - total); 
    } 
    return num; 
} 

如果所有记录是相同长度，创建一个记录长度的数组，并且上面的方法将一次读取一条记录。

最后JRecord项目有类读取固定长度的文件等，它可以做COMP-3的转换。注意：我是JRecord的作者。

Answer 2

由于所处理的数据量巨大，大约5 GB，我遇到了内存不足的异常。

你只需要一次读取一个记录。

我的代码是目前如下：

byte[] data = Files.readAllBytes(path); 

这导致一个内存溢出异常，我可以理解

我也一样。

但我不能使用文件扫描器，因为文件中的数据不会被分割成行。

你的意思是你不能使用Scanner类？这不是一次只能读取记录的唯一方法。

在任何情况下，并非所有文件都有记录分隔符。有些具有固定长度的记录，有些在每条记录的开始处有长度字，有些在每条记录的开始处有记录类型属性，或者至少在记录的固定部分有两种情况。

我会基于属性拆分它在特定的位置RECORD_ID（每个记录的开头说的）会告诉我的记录长度

因此，阅读该属性，解码如有必要，根据您从属性派生的记录长度读取记录的其余部分。一次一个。

我将您的注意力转向DataInputStream的方法，尤其是readFully()。您还需要一个Java COMP-3库。有几个可用。剩下的大部分可以通过内置的EBCDIC字符集解码器完成。