TensorFlow:实战Google深度学习框架(六)数据处理框架-数据集

        除了通过队列进行多线程输入的方法之外,tensorflow还提供了一套更高层的数据数据处理框架。在新的框架中,每一个数据来源被抽象成一个“数据集”,开发者可以进行batching、shuffle等操作。

  1. 数据集的基本使用方法:每一个数据来源都是一个数据集,可以是一个张量,可以是一个tfrecord而文件、一个文本文件。。。。。。


    由于训练数据无法同时读入内存,从数据集中读取数据时需要使用一个迭代器(iterator)按顺序进行读取,这和队列的dequeue操作以及reader的read操作类似


    TensorFlow:实战Google深度学习框架(六)数据处理框架-数据集TensorFlow:实战Google深度学习框架(六)数据处理框架-数据集TensorFlow:实战Google深度学习框架(六)数据处理框架-数据集TensorFlow:实战Google深度学习框架(六)数据处理框架-数据集


     

  2. 数据集的高层操作

    1. map()函数解析:map(parser)表示的时数据集中的每一条数据都进行相应的操作;map在对每一条数据进行处理后,再对数据进行包装,然后返回一个新的数据集。map函数可以用于对数据任何预处理操作

    2. 其他高层操作:dataset.shuffle()、dataset.batch()、dataset.repeat()......


      TensorFlow:实战Google深度学习框架(六)数据处理框架-数据集