hadoop-09 序列化机制
影响mapreduce执行效率的主要原因是磁盘I/O。
hadoop中序列化与反序列化
hadoop序列化机制的特点
1.紧凑:高效利用存储空间
2.快速:读写数据的额外开销小
3.可扩展:可透明地读取老格式的数据
4.互操作:支持多语言的交互
Java序列化的不足
1.不精简,附加信息多,不大适合随机访问
2.存储空间大,递归地输出类的超类直到不再有超类
3.扩展性差,hadoop中的writable可以方便用户自定义
影响mapreduce执行效率的主要原因是磁盘I/O。
hadoop中序列化与反序列化
hadoop序列化机制的特点
1.紧凑:高效利用存储空间
2.快速:读写数据的额外开销小
3.可扩展:可透明地读取老格式的数据
4.互操作:支持多语言的交互
Java序列化的不足
1.不精简,附加信息多,不大适合随机访问
2.存储空间大,递归地输出类的超类直到不再有超类
3.扩展性差,hadoop中的writable可以方便用户自定义