经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 数据库/运维 » Redis » 查看文章
详解Redis 分布式锁遇到的序列化问题
来源:jb51  时间:2021/3/29 10:20:54  对本文有异议

场景描述

最近使用 Redis 遇到了一个类似分布式锁的场景,跟 Redis 实现分布式锁类比一下,就是释放锁失败,也就是缓存删不掉。又踩了一个 Redis 的坑……
这是什么个情况、又是怎样排查的呢?
本文主要对此做个复盘。

问题排查

既然是释放锁有问题,那就先看看释放锁的代码吧。

释放锁

释放锁使用了 Lua 脚本,代码逻辑和 Lua 脚本如下:

释放锁示例代码

  1. public Object release(String key, String value) {
  2. Object existedValue = stringRedisTemplate.opsForValue().get(key);
  3. log.info("key:{}, value:{}, redis旧值:{}", key, value, existedValue);
  4. DefaultRedisScript<Long> redisScript = new DefaultRedisScript<>(COMPARE_AND_DELETE, Long.class);
  5. return stringRedisTemplate.execute(redisScript, Collections.singletonList(key), value);
  6. }
  7.  

释放锁使用的 Lua 脚本

  1. if redis.call('get',KEYS[1]) == ARGV[1]
  2. then
  3. return redis.call('del',KEYS[1])
  4. else
  5. return 0
  6. end;

删除脚本中,会先获取 Redis key 的旧值,并与入参 value 比较,二者相等时才会删除。
如果释放成功,也就是 Redis 缓存删除成功,返回值为 1,否则失败返回为 0。
乍一看代码似乎没啥问题,测一下试试?
不过既然要释放锁,在此之前肯定要加锁,先看看加锁的逻辑吧。

加锁

说到加锁这里的逻辑,代码里有两种实现方式:

示例代码一

  1. public Object lock01(String key, String value) {
  2. log.info("lock01, key={}, value={}", key, value);
  3. return redisTemplate.opsForValue().setIfAbsent(key, value, LOCKED_TIME, TimeUnit.SECONDS);
  4. }
  5.  

示例代码二

  1. public Object lock02(String key, String value) {
  2. log.info("lock02, key={}, value={}", key, value);
  3. return stringRedisTemplate.opsForValue().setIfAbsent(key, value, LOCKED_TIME, TimeUnit.SECONDS);
  4. }
  5.  

其实它们的区别就在于前者使用了 RedisTemplate,而后者使用的是 StringRedisTemplate。

Q: 等等……为什么会有两个 template??
A: 憋说了,是我挖的坑,RedisTemplate 是我加的……现在回想都没想明白当初为什么这样搞,可能真是脑子一时抽风了。

先测试一下这两个方法?

测试一下

使用两种方式分别加锁,其中:lock01 为 k1 和 v1,lock02 为 k2 和 v2。
分别看下 k1、k2 的值(使用工具:RDM, Redis Desktop Manager):

可以看到 v1 是有双引号的,而 v2 没有。
猜测应该是序列化的问题,看看 Redis 配置?

RedisTemplate 配置

加锁那里可以看到,k1 使用了 RedisTemplate,而 k2 是 StringRedisTemplate,它们两个的配置有什么区别呢?
其中 RedisTemplate 的配置是自定义的,如下:

  1. @Configuration
  2. @AutoConfigureAfter(RedisAutoConfiguration.class)
  3. public class RedisConfig {
  4. @Bean
  5. public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
  6. RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>();
  7. redisTemplate.setConnectionFactory(redisConnectionFactory);
  8.  
  9. // 使用 Jackson2JsonRedisSerialize 替换默认序列化
  10. Jackson2JsonRedisSerializer<Object> jackson2JsonRedisSerializer
  11. = new Jackson2JsonRedisSerializer<>(Object.class);
  12.  
  13. ObjectMapper objectMapper = new ObjectMapper();
  14. objectMapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
  15. objectMapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
  16. objectMapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false);
  17.  
  18. jackson2JsonRedisSerializer.setObjectMapper(objectMapper);
  19.  
  20. // 设置 key、value 的序列化规则(尤其是 value)
  21. redisTemplate.setKeySerializer(new StringRedisSerializer());
  22. redisTemplate.setValueSerializer(jackson2JsonRedisSerializer);
  23. redisTemplate.afterPropertiesSet();
  24.  
  25. return redisTemplate;
  26. }
  27. }
  28.  

StringRedisTemplate 的配置是 SpringBoot 默认的,即:

  1. @Configuration
  2. @ConditionalOnClass({RedisOperations.class})
  3. @EnableConfigurationProperties({RedisProperties.class})
  4. @Import({LettuceConnectionConfiguration.class, JedisConnectionConfiguration.class})
  5. public class RedisAutoConfiguration {
  6. public RedisAutoConfiguration() {
  7. }
  8.  
  9. @Bean
  10. @ConditionalOnMissingBean
  11. public StringRedisTemplate stringRedisTemplate(RedisConnectionFactory redisConnectionFactory) throws UnknownHostException {
  12. StringRedisTemplate template = new StringRedisTemplate();
  13. template.setConnectionFactory(redisConnectionFactory);
  14. return template;
  15. }
  16. }
  17.  

PS: SpringBoot 版本为 2.1.13.RELEASE

点进去 StringRedisTemplate 看下:

  1. public class StringRedisTemplate extends RedisTemplate<String, String> {
  2. public StringRedisTemplate() {
  3. // 注意这里的序列化设置
  4. setKeySerializer(RedisSerializer.string());
  5. setValueSerializer(RedisSerializer.string());
  6. setHashKeySerializer(RedisSerializer.string());
  7. setHashValueSerializer(RedisSerializer.string());
  8. }
  9. // ...
  10. }
  11.  

注意下序列化设置,继续跟进,看到底是什么方式:

  1. public interface RedisSerializer<T> {
  2. static RedisSerializer<String> string() {
  3. return StringRedisSerializer.UTF_8;
  4. }
  5. }
  1. public class StringRedisSerializer implements RedisSerializer<String> {
  2. public static final StringRedisSerializer UTF_8 = new StringRedisSerializer(StandardCharsets.UTF_8);
  3. // ...
  4. }
  5.  

可以看到,StringRedisTemplate 的 key 和 value 默认都是用 StringRedisSerializer(StandardCharsets.UTF_8) 进行序列化的。

而 RedisTemplate 的 key 使用 StringRedisSerializer,value 使用的是 Jackson2JsonRedisSerializer 序列化(至于为什么用这个,这里就不是我写的了)。
到这里,基本可以定位到问题所在了:就是 RedisTemplate 的 value 序列化和 StringRedisTemplate 不一致。

如果改成一致就可以了吗?验证一下试试。

验证推论

把 RedisTemplate 的 value 序列化方式修改为 StringRedisSerializer:

  1. @Configuration
  2. @AutoConfigureAfter(RedisAutoConfiguration.class)
  3. public class RedisConfig {
  4. @Bean
  5. public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
  6. RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>();
  7. // ...
  8.  
  9. redisTemplate.setKeySerializer(new StringRedisSerializer());
  10. redisTemplate.setValueSerializer(new StringRedisSerializer());
  11.  
  12. // ...
  13. return redisTemplate;
  14. }
  15. }
  16.  

再调用两种加锁逻辑,看下 k1、k2 的值:

可以看到,v1 的双引号没了,释放锁的服务也能正常删掉了。
嗯,就是这里的问题。
至于两者序列化的源码,有兴趣的盆友们可以继续研究,这里就不再深入探讨了。

小结

本文遇到的这个问题,主要是因为使用了不同的 RedisTemplate 来加锁和释放锁,而这两个 template 使用了不同的序列化方式,最终还是序列化带来的问题。
当初真是草率了,而且一时还没测出来……
对于生产环境,还是要慎之又慎:如临深渊,如履薄冰。

到此这篇关于Redis 分布式锁遇到的序列化问题的文章就介绍到这了,更多相关Redis 分布式锁遇到的序列化问题内容请搜索w3xue以前的文章或继续浏览下面的相关文章希望大家以后多多支持w3xue!

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号