Spark BlockManager
blocakManager 也叫作快管理器
是存放在Executor 中
BlockManager中含有四个 组件
1.ConnectionManager 作用:和其他Executor中的BlockManager 建立连接
2.BlockTransferService 作用:拉取数据
3.MemoryStore 作用:管理内存数据
4.DiskStore 作用: 管理磁盘上的数据
blockManager 用来存储三种数据
1.RDD的缓存数据 2. 广播变量和累加器 3.shuffle的文件
广播变量拉取的过程
1.当task在执行过程中用到了广播变量,executor获取广播变量,
如果executor中没有广播变量,就去Driver获取广播变量
2.由Executor中的BlockManager中的ConnectionManager 和
Driver中的BlockManager 建立连接,建立连接后,通过
BlockTransferService去拉取数据,数据拉去过来后由MemoryStore 进行管理
3.Task就可以使用广播变了