项目介绍
日志脱敏是常见的安全需求。普通的基于工具类方法的方式,对代码的入侵性太强,编写起来又特别麻烦。
sensitive提供基于注解的方式,并且内置了常见的脱敏方式,便于开发。
同时支持 logback 和 log4j2 等常见的日志脱敏插件。
拓展阅读
金融用户敏感数据如何优雅地实现脱敏?
日志脱敏之后,无法根据信息快速定位怎么办?
log4j2 插件统一脱敏
说明
上面的方法非常适用于新的项目,按照响应的规范进行推广。
但是很多金融公司都有很多历史遗留项目,或者使用不规范,比如使用 map 等,导致上面的方法在脱敏技改时需要耗费大量的时间,而且回溯成本很高。
有没有什么方法,可以直接在日志层统一处理呢?
log4j2 Rewrite
我们可以基于 log4j2 RewritePolicy 统一使用脱敏策略。
说明:如果使用 slf4j 接口,实现为 log4j2 时也是支持的。
使用入门
maven 引入
引入核心脱敏包。
<dependency>
<groupId>com.github.houbb</groupId>
<artifactId>sensitive-log4j2</artifactId>
<version>1.6.1</version>
</dependency>
其他的一般项目中也有,如 log4j2 包:
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-api</artifactId>
<version>${log4j2.version}</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>${log4j2.version}</version>
</dependency>
log4j2.xml 配置
例子如下:
<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN" packages = "com.github.houbb.sensitive.log4j2.layout">
<Properties>
<Property name="DEFAULT_PATTERN">%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n</Property>
<Property name="DEFAULT_CHARSET">UTF-8</Property>
</Properties>
<Appenders>
<Console name="Console" target="SYSTEM_OUT">
<SensitivePatternLayout/>
</Console>
</Appenders>
<Loggers>
<Root level="DEBUG">
<AppenderRef ref="Console"/>
</Root>
</Loggers>
</Configuration>
几个步骤:
-
指定 package 为 packages = "com.github.houbb.sensitive.log4j2.layout"
-
按照 log4j2 layout 规范,指定 Layout 策略为 SensitivePatternLayout
测试
正常的日志打印:
private static final String TEST_LOG = "mobile:13088887777; bankCard:6217004470007335024, email:mahuateng@qq.com, amount:123.00, " +
"IdNo:340110199801016666, name1:李明, name2:李晓明, name3:李泽明天, name4:山东小栗旬" +
", birthday:20220517, GPS:120.882222, IPV4:127.0.0.1, address:中国上海市徐汇区888号;";
logger.info(TEST_LOG);
自动脱敏效果如下:
01:37:28.010 [main] INFO com.github.houbb.sensitive.test.log4j2.Log4j2AndSlf4jLayoutTest - mobile:130****7777|9FC4D36D63D2B6DC5AE1297544FBC5A2; bankCard:6217***********5024|444F49289B30944AB8C6C856AEA21180, email:mahu*****@qq.com|897915594C94D981BA86C9E83ADD449C, amount:123.00, IdNo:340110199801016666, name1:李明, name2:李晓明, name3:李泽明天, name4:山东小栗旬, birthday:20220517, GPS:120.882222, IPV4:127.0.0.1, address:中国上海市徐******|821A601949B1BD18DCBAAE27F2E27147;
ps: 这里是为了演示各种效果,实际默认对应为 1,2,3,4,9 这几种策略。
log4j2 配置定制化
为了满足各种用户的场景,在 V1.6.0 引入了 SensitivePatternLayout 策略的可配置化。
用户可以在应用 resources 下通过 chars-scan-config.properties
配置文件指定。
默认配置
log4j2 配置中,SensitivePatternLayout
配置默认为:
chars.scan.prefix=::,,'"‘“=| +()()
chars.scan.scanList=1,2,3,4,9
chars.scan.replaceList=1,2,3,4,9
chars.scan.defaultReplace=12
chars.scan.replaceHash=md5
chars.scan.whiteList=""
属性说明
SensitivePatternLayout 策略的属性说明。
属性 |
说明 |
默认值 |
备注 |
prefix |
需要脱敏信息的匹配前缀 |
::,,'"‘“= +()() 和英文竖线 |
降低误判率 |
replaceHash |
哈希策略模式 |
md5 |
支持 md5/none 两种模式 |
scanList |
敏感扫描策略列表 |
1,2,3,4 |
1~10 内置的10种敏感信息扫描策略,多个用逗号隔开 |
replaceList |
敏感替换策略列表 |
1,2,3,4 |
1~10 内置的10种敏感信息替换策略,多个用逗号隔开 |
defaultReplace |
敏感替换默认策略 |
12 |
1~13 内置的13种敏感信息替换策略,指定一个。当列表没有匹配时,默认使用这个 |
whiteList |
白名单 |
`` |
希望跳过处理的白名单信息 |
其中 1-13 的内置策略说明如下:
策略标识 |
说明 |
1 |
手机号 |
2 |
身份证 |
3 |
银行卡 |
4 |
邮箱 |
5 |
中国人名 |
6 |
出生日期 |
7 |
GPS |
8 |
IPV4 |
9 |
地址 |
10 |
护照 |
11 |
匹配任意不掩盖 |
12 |
匹配任意半掩盖 |
13 |
匹配任意全掩盖 |
不足之处
这里的策略自定义和 log4j2 的插件化比起来,确实算不上强大,但是可以满足 99% 的脱敏场景。
后续有时间考虑类似 log4j2 的 plugins 思想,实现更加灵活的自定义策略。
logback 脱敏插件
说明
为了便于用户使用,v1.6.0 开始支持 logback 插件模式。
使用入门
maven 引入
引入 logback 依赖包
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-classic</artifactId>
<version>${logback.version}</version>
</dependency>
指定 logback.xml 配置
<configuration>
<!-- 基于 converter -->
<conversionRule conversionWord="sensitive" converterClass="com.github.houbb.sensitive.logback.converter.SensitiveLogbackConverter" />
<!-- 使用 converter -->
<appender name="STDOUTConverter" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %sensitive%n</pattern>
</encoder>
</appender>
<!-- 使用 layout -->
<appender name="STDOUTLayout" class="ch.qos.logback.core.ConsoleAppender">
<layout class="com.github.houbb.sensitive.logback.layout.SensitiveLogbackLayout">
<pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
</layout>
</appender>
<!-- 设置根日志级别为DEBUG,并将日志输出到控制台 -->
<root level="DEBUG">
<appender-ref ref="STDOUTConverter"/>
<appender-ref ref="STDOUTLayout"/>
</root>
</configuration>
这里共计支持 Converter 和 Layout 两种模式,任选一个即可。
建议使用 SensitiveLogbackConverter,脱敏日志内容。
日志效果
脱密效果和 log4j2 类似,如下:
01:42:32.579 [main] INFO c.g.h.sensitive.test2.LogbackMain - mobile:130****7777|9FC4D36D63D2B6DC5AE1297544FBC5A2; bankCard:6217***********5024|444F49289B30944AB8C6C856AEA21180, email:mahu*****@qq.com|897915594C94D981BA86C9E83ADD449C, amount:123.00, " + "IdNo:340110199801016666, name1:李明, name2:李晓明, name3:李泽明天, name4:山东小栗旬" + ", birthday:20220517, GPS:120.882222, IPV4:127.0.0.1, address:中国上海市徐******|821A601949B1BD18DCBAAE27F2E27147;
配置属性
同 log4j2,此处不再赘述。
小结
基于日志插件的方式更加方便,便于项目的推广使用,实用性更强。
项目的开源地址
https://github.com/houbb/sensitive