经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 数据库/运维 » Redis » 查看文章
Redis内存碎片
来源:cnblogs  作者:iBrake  时间:2021/2/18 15:26:15  对本文有异议

一、什么是内存碎片

redis数据删除后,所占用内存不会马上还给操作系统,而是交给内存分配管理器,所以对操作系统来说redis仍然占用着这些内存。

这里有个风险点是:redis释放的内存有可能是不连续的,这种不连续的内存很可能无法再次使用,最终造成了内存的浪费,这种空闲但是无法使用的内存便是内存碎片。

接下来主要介绍redis的内存碎片情况,产生原因以及最终的应对方案。

二、如何判断有内存碎片

可以通过redis提供的命令来查看redis的内存使用情况:

  1. ./redis-cli info memory

执行结果

  1. # Memory
  2. used_memory:5930032
  3. used_memory_human:5.66M
  4. used_memory_rss:8359936
  5. used_memory_rss_human:7.97M
  6. ...
  7. mem_fragmentation_ratio:1.32

used_memory是redis数据所占的内存大小。used_memory_rss是操作系统分配给redis的所有内存(包含没有使用的碎片)。

  1. mem_fragmentation_ratio= used_memory_rss / used_memory

mem_fragmentation_ratio

  1. 大于1但是小于1.5:是相对合理的,碎片化可以接受,可以不进行碎片整理。下一节的碎片形成的原因可以看出,碎片本身是无法彻底避免的。
  2. 大于1.5碎片化严重,超过了50%。这种情况下需要想办法对碎片进行整理,降低碎片化绿
  3. 小于1.0:redis数据所占内存小于操作系统所分配的内存,这不能说没有碎片,这个时候说明redis的内存发送了swap,有一部分数据被交换到了硬盘,会严重影响redis的性能,需要马上解决的,具体见操作系统swap对redis的影响

三、内存碎片是怎么形成的

3.1 jemalloc分配机制导致

jemallco是redis的默认内存分配器,其分配策略不是完全按照操作系统的按需分配来进行的,而是按照2^n次方的方式来分配,比如8字节,16字节,32字节、2KB,4KB,8KB等,固定大小。

当redis申请内存时候,jemalloc会分配一个大于所需内存但是最接近2^n的大小,比如需要20字节,jemallo会分配32字节。这样天然就有12个字节的碎片存在,且无法避免。

jemalloc这种分配方式的好处是减少内存分配的次数,上面的例子中需要20字节,但是分配了32,如果后期再需要10字节,则不再需要二次分配内存。

3.2 数据的修改删除操作导致

redis每个键值的大小都不一致,当有内存释放后有可能太小最终无法被马上使用。

上图中假定A、B、C三块内存都为4KB,A被释放后会有总共有3*4=12KB的内存可用。但是由于A、B、C不连续,如果这个时候有一个10KB的数据需要分配内存,以上内存是无法使用的,这就是内存的浪费。

大量的内存碎片会导致内存被浪费,这就需要对内存的碎片进行清理。

四、如何清理内存碎片

4.1 重启

重启是最简单的办法,但是重启后如果没有开启rdb或者aof,数据会彻底丢失。

如果开启了持久化机制,恢复需要一定的时间,恢复期间redis本身又不可用。

所以重启不是第一选择,比较优雅的办法是采用redis自身的碎片清理机制。

4.2 redis内存碎片自动清理机制

4.0版本后redis提供了自动内存碎片清理机制。核心思想就是对内存进行搬家合并,让空闲的内存合并到一起,形成大块可以使用的连续空间。继续上面的例子。

可以看到通过碎片整理的内存能够存储10KB的数据。

开启碎片自动清理

默认是关闭的。

  1. CONFIG SET activedefrag yes

redis自己的配置说明

特别需要注意的是redis的自动内存碎片清理是由主线程执行的,执行期间无法处理客户端请求,这会阻塞redis,影响redis的性能,所以不能频繁的执行碎片清理。

redis也提供了一些参数用于控制碎片执行的时机和条件。

  1. # The configuration parameters are able to fine tune the behavior of the
  2. # defragmentation process. If you are not sure about what they mean it is
  3. # a good idea to leave the defaults untouched.
  4. # Enabled active defragmentation
  5. # activedefrag no
  6. # Minimum amount of fragmentation waste to start active defrag
  7. # active-defrag-ignore-bytes 100mb
  8. # Minimum percentage of fragmentation to start active defrag
  9. # active-defrag-threshold-lower 10
  10. # Maximum percentage of fragmentation at which we use maximum effort
  11. # active-defrag-threshold-upper 100
  12. # Minimal effort for defrag in CPU percentage, to be used when the lower
  13. # threshold is reached
  14. # active-defrag-cycle-min 1
  15. # Maximal effort for defrag in CPU percentage, to be used when the upper
  16. # threshold is reached
  17. # active-defrag-cycle-max 25
  18. # Maximum number of set/hash/zset/list fields that will be processed from
  19. # the main dictionary scan
  20. # active-defrag-max-scan-fields 1000

redis的上述配置文件也说明了,如非真的有必要,不要开启碎片清理。

五、和现实的类比

买火车票,比如一班火车只有四个座位,分别在两排。每一排都连着。

这个时候卖出两张票,被两个人买了,分别是第一排的一个座位和第二排的一个座位,剩余两个座位。

这时候有人想买两张连在一排的座位,就买不到了,虽然还有两个座位,这就是碎片,是浪费。

平时坐火车我们有时候为了坐一起,会找协调其他旅客换座位,这就类似于碎片整理。

原文链接:http://www.cnblogs.com/Brake/p/14359330.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号