按行拆分csv文件并重新排列

问题描述：

我遇到类似的情况，此处发现的问题是Split single column of csv horizontally in bash into multiple smaller csv files in BASH，问题是在不同的文件中拆分。我需要做类似的事情，但在同一个文件中。按行拆分csv文件并重新排列

我使用的是bash，我有几个csv文件，直到第27行为止。然后，一千行数据，然后是另一个标题和另一千行数据。然而，我将简化这里：

**row1** Begin of header 
... 
**row26** TASK1, TASK2, DV-T1, DV-T2 
**row27** --- End of header --- 
**row28** 1, 111, 1, 991, 1, 1.1, 1, 9.1 
**row29** 2, 112, 2, 992, 2, 1.2, 2, 9.2 
**row30** 3, 113, 3, 993, 3, 1.3, 3, 9.3 
... 
**row1028** 1000, 1128, 1000, 1028, 1000, 1.2, 1000, 10.2 
**row1029** Begin of 2nd Header 
... 
**row1039** End of 2nd header 
**row1040** 1, 0.1, 1, 0.9 
**row1041** 2, 0.2, 2, 0.8 
**row1042** 3, 0.3, 3, 0.7 
... 
**row2040** 1000, 0.6, 1000, 0.6 
**row2041** End of 2nd data 
**row2042** Performance, 0.87 
**row2043** End of file

我期待的行分成1个csv文件，使得：

**row1** task1, dev-task1, task2, dev-task2, FractionT1-T2, Difference 
**row2** 111, 1.1, 991, 9.1, 0.1, 0.9 
**row3** 112, 1.2, 992, 9.2, 0.2, 0.8 
**row4** 113, 1.3, 993, 9.3, 0.3, 0.7 
... 
**row1001** 1128, 1.2, 1028, 10.2, 0.6, 0.6

这就是我试图做的：

for strategy in *; do 
    if [ -d "$strategy" ] ; then 
     cd $strategy 
     for file in *; do 
      if [ -f "$file" ] ; then 
       namefile=$(printf "${file/.csv/-output.csv}") 
       #printf "$namefile\n" 
       awk -F, 'BEGIN{print "task1, dev-task1, task2, dev-task2, FractionT1-T2, Difference"};NR > 27 && NR < 1029 { print $2 "," $6 "," $4 "," $8};NR > 1039 && NR < 2041 {print $2 "," $4 }' "$file" > "$namefile" 
      fi 
     done 
    cd .. 
    fi 
done

然而，输出只是第一个命令，即，

**row1** task1, dev-task1, task2, dev-task2, FractionT1-T2, Difference 
**row2** 111, 1.1, 991, 9.1 
**row3** 112, 1.2, 992, 9.2 
**row4** 113, 1.3, 993, 9.3 
... 
**row1001** 1128, 1.2, 1028, 10.2

如何重新排列色谱柱？是否有必要创建两个文件到后一个合并通过paste -d“”output1.csv output2.csv> real-output.csv？我是否也可以将输出文件中的第二行的行性能（row2042 Performance，0.87）移动？

有几个问题：你有办法'识别'标题。即标题是否始终以相同的线条开始和结束，或者您可以通过正则表达式轻松捕捉这些线条？ – chw21

第二个问题：在数据中，您总是有完全相同的列数，并且您事先知道列数？ – chw21

最后，你想用另一个替换一列？ – chw21

答

这是一个稍微复杂一点的awk脚本，我建议将它移动到一个外部文件。

$ cat rearrange.awk 
BEGIN { 
    FS="," 
    OFS=FS 
    print "task1, dev-task1, task2, dev-task2, FractionT1-T2, Difference" 
} 

# First data block: Collect the tasks and dev-tasks 
NR > 27 && NR < 1029 { 
    task1[NR-27] = $2 
    task2[NR-27] = $4 
    dtask1[NR-27] = $6 
    dtask2[NR-27] = $8 
} 

# Second data block: Collect the fraction and differences 
NR > 1039 && NR < 2041 { 
    frac[NR-1039] = $2 
    diff[NR-1039] = $4 
} 

# If we find a line that contains the performance, print it. 
# Since we haven't printed anything beside the header yet, 
# This will be the second line. 
/Performance/ {print} 

# Reached the end of the file, now print everything. 
END { 
    for (i=1; i<=1001; i++) { 
     print task1[i], dtask1[i], task2[i], dtask2[i], frac[i], diff[i] 
    } 
} 
$ awk -f rearrange.awk $file > $namefile

这应该可以做到。基本上，awk在逐个记录的基础上工作。所以当它到达文件的第二部分时，它已经完全处理了上一节。

但是，如果我们将值添加到数组中，那么我们可以在最后访问数组。

奇妙的，很好的解决方案chw21！ – Jotasmall

按行拆分csv文件并重新排列

相关推荐