您的位置: 首页  >  文章  >  谈笑间学会-Hbase Rowkey设计

谈笑间学会-Hbase Rowkey设计

分类: 文章 • 2024-11-13 21:59:52

谈笑间学会-Hbase Rowkey设计

1、为什么Rowkey这么重要

1.1、Rowkey是什么

  • 类似于MySQL、Oracle中的主键，用于标示唯一的行

  • 完全是由用户指定的一串不重复的字符串；

  • Hbase中的数据永远数据根据Rowkey的字典排序来排序的。

1.2、Rowkey的作用

  • 读写数据通过Rowkey找到对应的Region；
  • MemStore中的数据按RowKry字典顺序排序；
  • HFile中的数据按Rowkey字典顺序排序

1.3、Rowkey对查询的影响

举个栗子—Rowkey ： uid+phone+name

  • 很好支持的数据的检索

    • uid = 001 AND phone=12345678901 AND name = zhang
    • uid = 001 AND phone=123?
    • uid = 001

  • 不太好支持的数据的检索

    • phone=12345678901 AND name = zhang
    • phone=12345678901
    • name = zhang

1.4、Rowkey对Region划分的影响

谈笑间学会-Hbase Rowkey设计

Hbase表的数据是按照Rowkey来分散到不同的Region，不合理的Rowkey设计会导致热点问题的产生。

热点问题是大量的Client直接访问集群的一个或极少数节点，而集群中其他节点处于相对空闲状态。

2、Rowkey设计技巧

2.1、Rowkey的设计-Salting

  • Salting的原理是将固定长度的随机数放在行键起始处

谈笑间学会-Hbase Rowkey设计

  • 优缺点
    • 由于前缀随机生成，因而如果想要按照字典顺序找到这些行，则需要做更多的工作。从这个角度上看，salting增加了写操作的吞吐量，却也增大了读操作的开销。

2.2、Rowkey的设计 - Hashing

  • Hashing 的原理是计算Rowkey的hash值，然后取hash的部分字符串和原来的Rowkey进行拼接
    谈笑间学会-Hbase Rowkey设计

  • 优缺点

    • 可以一定程度打散整个数据集，但是不利于scan操作；
      • 比如使用md5算法来计算Rowkey的md5值，然后截取前几位字符串，如下：
      • substring（MD5（设备ID），0，x）+ 设备ID，其中x一般取5或6

2.3、Rowkey的设计 - Reversing

  • Reversing的原理是反转一段固定长度或者全部的键

谈笑间学会-Hbase Rowkey设计

  • 优缺点
    • 有效打乱了行键，却牺牲了行排序的属性

2.4、Rowkey的长度

  • Rowkey可以是任意的字符串，最大长度是64KB。建议越短越好，原因如下
    • 数据的持久化文件HFile是按照KeyValue存储的，如果rowkey过长，比如超过100字节，1000w行数据，rowkey就要占用100*1000w = 10亿个字节，将近1G数据，这样会极大影响HFile的存储效率；
    • MemStore将缓存部分数据到内存，如果rowkey字段过长，内存的有效利用率就会降低，系统不能缓存更多的数据，这样会降低检索效率；
    • 目前操作系统都是64位系统，系统8字节对齐，控制在16个字节，8字节的整数倍利用了操作系统的最佳特性。

3、Rowkey设计案例剖析

3.1、交易类表Rowkey设计-1

  • 查询某个卖家某段时间内的交易记录
    • sellerId + timestamp + orderId
  • 查询某个买家某段时间内的交易记录
    • buyId + timestamp + orderId
  • 根据订单号查询
    • orderNo

3.2、交易类表Rowkey设计-1

  • 如果某个商家卖了很多商品，怎么设计Rowkey实现快速搜索？
    • salt + sellerId + timestamp 其中，slat是随机数。
  • 可与支持的场景：
    • 全表Scan
    • 按照sellerId查询
    • 按照sellerId + timestamp 查询

3.3、金融风控Rowkey设计

  • 查询某个用户的用户画像数据
    • prefix + uid
    • prefix + idcard
    • prefix +tele

其中prefix = substr（md5（uid），0，x）

3.4、车联网Rowkey设计

  • 查询某辆车在某个时间范围的交易记录
    • carId + timestamp
  • 某批次的车太多，造成热点
    • prefix + carId + timestamp

其中prefix = substr（md5（uid），0，x）

3.5、倒序时间戳

  • 查询用户最新的操作记录或者查询用户某段时间的操作记录
    • uid + Long.Max_Value - timestamp
  • 查询用户最新的操作记录
    • Scan 【uid】 startRow 【uid】【000000000000】stopRow 【uid】【Long.Max_Value - timestamp】
  • 查询用户某段时间的操作记录
    • Scan 【uid】 startRow 【uid】【Long.Max_Value - startTime】stopRow 【uid】【Long.Max_Value - endTime】

3.6、OpenTSDB的Rowkey设计-1

  • OpenTSDB定义每个时间序列数据需要包含以下属性
    • 指标名称
    • 时间戳（毫秒或者秒精度）
    • 值
    • 一组标签

谈笑间学会-Hbase Rowkey设计

3.6、OpenTSDB的Rowkey设计-2

  • OpenTSDB提供查询功能
    • 指定指标名称和时间范围，给定一个或多个标签名称和标签的值作为条件，查询所有的数据。
  • a. proc.loadavg.1m (host=, pool=)(1436331600 <= timestamp < 1436335200)：
    • 查询13点到14点之间，所有机器所有pool上的虚拟文件系统负载；
  • b. proc.loadavg.1m (host=host1, pool=*)(1436331600 <= timestamp < 1436335200)：
    • 查询13点到14点之间，host1机器所有pool上的虚拟文件系统负载；
  • c. proc.loadavg.1m (host=host1, pool=0)(1436331600 <= timestamp < 1436335200)：
    • 查询13点到14点之间， host1机器pool=0的虚拟文件系统负载。

3.6、OpenTSDB的Rowkey设计-3

  • OpenTSDB的Rowkey：slat + metric_uid + timetamp + tagk1 + tagv1 + [tankN + tagvN]

谈笑间学会-Hbase Rowkey设计

3.7、Hbase二级索引

  • 为什么需要二级索引？
    谈笑间学会-Hbase Rowkey设计

  • 需求：如何查询phone = 1311111111 的用户呢？

    • 创建二级索引呗？何为二级索引呢？其实就是根据自己的数据过滤条件，创建中间表，索引值为主表Rowkey即可。
      谈笑间学会-Hbase Rowkey设计

  • SQL + OLTP + 二级索引 => Phoenix

  • 全文检索 + 二级索引 => Solr / Es

相关推荐