Tensorflow numpy的,以tensorflow
问题描述:
我一直在使用numpy的genfromtxt
Tensorflow numpy的,以tensorflow
csv_file = np.genfromtxt(args.dataset, delimiter=',',skip_header=1,usecols=(0,1,2,3,4,5), dtype=None)
疑问句读csv文件:如何使用string_input_producer排队和批处理文件。
答
您可以像CSV一样从CSV中读取Numpy数组,并将其手动分割为批处理。但是,TF具有从多个CSV文件读取并将行放在随机或连续批次中的内置功能。您可以读取不同数据类型的单元格,并根据需要将它们转换为相关的数据类型。根据您的需要 Converting TensorFlow tutorial to work with my own data
简而言之,你需要的关键功能是tf.TextLineReader
,tf.train.string_input_producer
和tf.train.shuffle_batch
,或tf.train.batch
,:
工作代码做,这是在这个问题上的讨论。
我知道该方法的唯一限制是您的CSV文件中的行应该具有相同的长度。
告诉一下产生的'csv_file'数组。 dtype,形状? – hpaulj
@hpaulj '>>>类型(csv_file) ' 'csv_file.shape (37810,)' 该CSV具有以下字段 '文件名\t注释标签\t左上角X \t左上角Y \t右下角X \t右下角Y' –
'dtype'?这个形状是1d,所以我怀疑它是一个具有多个“字段”而不是列的结构化数组。 'dtype = None'给你这个。 'tensorflow'对于使用结构化数组有什么意义? – hpaulj