读取，合并和排序.csv文件

Question

我对R很新，但是要做程序。在这个阶段我可能只是厌倦了自己的进步，所以这是我的问题;

大量的.csv文件，大量（6MB）带有我需要做分析的频谱数据。我试图读取数据 - 两列频率和电压（V为dB值），每个文件500,000个数据点。我想在每10个文件的新数据集中“合并”来自第二列的数据。

例如：10个档，十个频率（所有相同每个所以可以暂时忽略不计）和十个电压。从第二列中的电压获取数据并将其合并到数据集中。如果我有10个文件=我结束了一个数据集，100个文件= 10个数据集。希望最终每个数据集将有11列|频率| V1 | V2 | ... | V10 |。对每个文件进行索引匹配会很好，但我不确定我的电脑能否支持它，除非我升级资源。

这看起来似乎很安静，所有的建议都欢迎，当尝试对1200个.csv文件进行排序或者甚至只读取100个文件时，内存似乎成了一个问题。谢谢你的时间！

Answer 1

我还没有测试过，因为我显然没有你的数据，但像下面的代码应该工作。基本上，你创建一个包含所有文件名的矢量，然后一次读取，合并和写入它们中的10个。

library(reshape2) 
library(dplyr) 

# Get the names of all the csv files 
files = list.files(pattern="csv$") 

# Read, combine, and save ten files at a time in each iteration of the loop 
for (i in (unique(1:length(files)) - 1) %/% 10)) { 

    # Read ten files at a time into a list 
    dat = lapply(files[(1:length(files) - 1) %/% 10 == i], function(f) { 
    d=read.csv(f, header=TRUE, stringsAsFactors=FALSE) 
    # Add file name as a column 
    d$file = gsub("(.*)\\.csv$", "\\1", f) 
    return(d) 
    }) 

    # Combine the ten files into a single data frame 
    dat = bind_rows(dat) 

    # Reshape from long to wide format 
    dat = dcast(Frequency ~ file, value.var="Voltage") 

    # Write to csv 
    write.csv(dat, paste("Files_", i,".csv"), row.names=FALSE) 
} 

在另一方面，如果你只想他们都合并到长格式的单个文件，这将使得分析变得更容易（如果你当然有足够的内存）：

# Read all files into a list 
    dat = lapply(files, function(f) { 
    d = read.csv(f, header=TRUE, stringsAsFactors=FALSE) 
    # Add file name as a column 
    d$file = gsub("(.*)\\.csv$", "\\1", f) 
    return(d) 
    }) 

    # Combine into a single data frame 
    dat = bind_rows(dat) 

    # Save to csv 
    write.csv(dat, "All_files_combined.csv", row.names=FALSE)