python 对以空行作为分割的块文件进行读取的方法
这几天一直在处理数据,也接触到了好几款不一样的库,pandas虽然好用但是却没有直接处理空行分块的txt文件,所以只能自己手写脚本对文件进行分块读取,然后每一块的信息存储为csv文件的一行。我处理的对象为DBLP的数据集,地址是http://cn.aminer.org/citation 采用的是v1数据集。
需要将形如#c,#!等分别代表的不同意思的信息提取出来
数据的格式如下;
数据每块的含义参见数据集主页给出的说明。
def exact_edges(path1,path2): a = open(path1,'r') file = a.read().splitlines() b = open(path2,'wb') csv_file2 = csv.writer(b) KDD = 'ACM SIGKDD international conference on Knowledge discovery and data mining' SIGIR = 'international ACM SIGIR conference on Research and development in information retrieval' i = 0 num = 0 while True: list = [] flag = 0 if num != 0:#对读取的file进行删除操作,读取完成的部分将在下一块读取之前删除掉 for x in range(0,num): file.pop(0) num = 0 for line in file: num = num+1 if len(line) > 0: if line.startswith('#index'): print line list.append(line) if line.startswith('#%'): print line list.append(line) if line.startswith('#c'): '''print line if ('conference on Knowledge discovery and data mining' in str(line)) or ( 'international ACM SIGIR conference on Research and development in information' in line): print '...................' flag = 1''' list.append(line) if line.startswith('#!'): list.append(line) else: #print '................................' break csv_file2.writerow(list)