CUDA的线程层次结构
CUDA的线程层次结构是一个两层的线程层次结构，由线程块和线程块网格组成，如下图所示：
Grid：由一个kernel启动所产生的所有线程统称为一个线程网格（Grid）。
同一线程网格中的所有线程共享同全局内存空间。一个网格有多个线程块（Block）构成，一个线程块包含一组线程，同一线程块内的线程协同可以通过“同步”和“共享内存”的方式来实现。不同线程块内的线程不能协作。
在一个网格中，我们通过以下两个坐标变量来定位一个线程，
（1）blockIdx：线程块在线程网格中ID号
（2）threadIdx：线程在线程块内的ID号
这些坐标变量是kernel函数中需要预初始化的内置变量。
当执行有一个核函数时，CUDA Runtime 为每个线程分配坐标变量blockIdx和threadIdx。基于这些坐标，我们将数据分配到不同的GPU线程上，然后并行处理所有的数据。
坐标变量blocIdx和threadIdx都是基于unit3定义的CUDA内置的向量类型，分别包含3个无符号的整数结构，可以通过x,y,z三个元素来进行索引。