memcache内存管理机制
malloc内存管理机制 早期
salb内存管理机制 现在使用
Memcached的数据存储方式
Memcached的数据存储方式被称为slab(片)其基本方式是:
(a)先把内存分成很多个片,这个大小是预先规定好的(默认1M),以解决内存碎片问题。
分配给片的内存空间被称为Page(页)。一个Slab下可以有多个Page。
(如下图:在Memcached实例中先把内存分了n个slab,然后每个slab里面分了n个page)
(b)然后把一个页分成很多个chunk块,chunk块是用于缓存记录的空间。Chunk的大小是先有一个基本值(默认48字节),然后根据增长因子来增大。
Slab 分配的原理——将分配的内存分割成各种尺寸的块(chunk), 并把尺寸相同的块分成组(chunk的集合),每个chunk集合被称为slab。
©内存区类别(48byte-1M),每个类别有一个内存区类别
(d)Memcached里面保存着slab内存空间的chunk列表,当收到要保存的item时,它会根据item的大小去选择一个最适合的slab,然后找到空闲的chunk,把数据存放进去。
Memcached新建Item分配内存过程
第一步: 快速定位slab classid,先计算Item长度
key键长+flag+suffix(16字节)+value值长+结构大小(32字节),比如计算出来有90byte
如果Item长度计算出来>1M,则无法存储丢弃
取最小冗余的slab class进行存储,比如有:48、96、120, 存储90就会选96
第二步:按顺序寻找可用的chunk
(a) slot : 检查slab回收空间slot里是否有剩余chunk
delete: delete时标记到slot
exptime: get时检查的过期对象标记到slot
(b)end_page_ptr: 检查page中是否有剩余chunk
©memory: 内存还有剩余空间可以用于开辟新的slab
(d)LRU
注:Memcached的数据存储方式的缺点,由于chunk的大小是预先分配好的特定长度,因此如果数据不能完全填满chunk,那么chunk中剩余的空间就浪费了。
Memcached的数据过期方式
(1)Lazy Expiration(延迟/惰性 过期)
Memcached不会监控记录是否过期,而是当客户端来获取数据的时候,才会检查记录的时间戳,因此成为Lazy Expiration
(2)LRU(Least Recently Used 最近最少使用)
当空间不足的时候,Memcached会优先使用已经过期的数据空间,如果还不够的话,就会使用LRU算法来分配空间,删除最近最少使用的key/value对,将其空间分配给新的key/value对。如果不希望使用LRU算法时,启动时加-M参数,这样memcached内存耗尽时会返回一个报错信息。
注::要特别注意,Memcached的LRU不是全局的,而是针对slab的,可以说是区域性的
(3)惰性删除机制
删除item对象时,不释放内存,作删除标记,指针放入slot回收插槽,下次分配的时候直接使用。