处理大数据帧时减少计算时间的最佳方法是什么？

Question

我有一个很大的数据框架，它由RStudio服务器中的9个mio对象组成，格式如下（每个installnr有很多读数），当我运行脚本计算每小时所有读数的平均值和标准误差线时， R崩溃。避免大量计算时间和超出内存大小的最佳方法是什么？

 installnr readdate readings 
    1 002345 2014-08-17 {0,0,0,1,0,0,0,0,0,1,1,0,0,0,0,0,0,0,0,1,0,0,2,0} 
    2 002345 2014-08-18 {0,0,0,0,0,0,4,1,0,0,0,0,1,1,1,1,0,1,1,1,1,1,0,1} 
    3 002345 2014-08-19 {0,1,2,1,0,1,1,1,2,0,1,0,1,0,1,0,1,0,1,0,2,1,1,0} 
    4 013459 2014-08-17 {1,0,0,1,0,1,1,1,1,0,1,0,1,0,1,0,0,1,3,1,0,0,1,1} 
    5 127465 2014-08-19 {0,1,0,0,1,0,1,1,1,0,0,1,2,0,1,0,0,1,1,0,0,1,1,1} 

我运行该脚本的一个例子是：

df$readings = gsub("[{}]", "", as.character(df$readings)) 
Read1 = strsplit(df$readings, ",") 
Readings = matrix(as.numeric(unlist(Read1)), nrow=length(Read1)) 
colMeans(Readings) 

Answer 1

如果你想坚持到你的输入格式，这里是一个可能为你工作的解决方案。

第一个，安装和加载包stringr和data.table。

二，提取号码从读数和创建数据表：

dt <- data.table(str_extract_all(df$readings,"[0-9]+", simplify=TRUE)) 

注意正则表达式[0-9]+假定整数值。

三，转换整个数据表从chr将数字：

dt <- dt[, lapply(.SD, as.numeric)] 

现在，使用dt[, lapply(.SD, mean)]来计算每一列的平均值。当然，您也可以使用lapply(dt, mean)。