经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 其他 » 职业生涯 » 查看文章
如果有人在你的论坛、博客，乱留言、乱回复，怎么办？
来源：cnblogs　　作者：小傅哥　　时间：2024/1/10 8:56:54　　对本文有异议

作者：小傅哥

博客：https://bugstack.cn

沉淀、分享、成长，让自己和他人都能有所收获！??

哈喽，大家好我是技术UP主小傅哥。

常听到一句话：你很难赚到你认知以外的钱??，屁！不是很难，是压根赚不到。 你以为要是你做也能做，但其实除了你能看见的以外，还有很多东西都不知道。

我看过不少小伙伴自己上线过带有评论功能的博客，或是能进行通信的聊天室。但最后都没运营多久就关停了，除了能花钱解决的服务器成本，还有是自身的研发的系统流程不够健全。其中非常重要的一点是舆情敏感内容的审核，如果你做这类应用的处理，一定要对接上相应的内容安全审核。

那么，接下来小傅哥就给大家分享下，如何对接内容安全审核，并在 DDD 分层结构下实现一个对应的规则过滤服务。

文末提供了「星球：码农会锁」??优惠加入方式，以及本节课程的代码地址。项目演示地址：https://gaga.plus

一、场景说明

在本节小傅哥会通过 DDD 分层架构设计，开发出一个敏感词、内容安全审核过滤操作的规则处理器。在这个过程大家可以学习到 DDD 分层调用流程、规则模型的搭建、敏感词和内容审核的使用。

如图，上半部分是业务流程，下半部分是 DDD 分层结构中的实现。

  1. 业务流程上，以用户发送的提交给服务端的内容进行审核过滤，优先使用敏感词进行替换单词组。过滤后过内容审核，一般各个云平台都有提供内容审核的接口，如；京东云、百度云、腾讯云都有提供。一般价格在 0.0015 元/条
  2. 系统实现上，以 DDD 分层架构实现一个内容审核的流程。app 配置组件和启动应用、trigger 提供 http 调用、domain 编写核心逻辑和流程、infrastructure 提供 dao 的基础操作。

二、内容审核 - SDK 使用

一般舆情内容审核分为两种，一种是静态配置数据的 SDK 组件，也叫敏感词过滤。另外一种是实时动态的由各个第三方提供的内容审核接口服务。这类的就是前面提到的，在各个云平台都有提供。

这里小傅哥先带着大家做下最基本的调用案例，之后再基于 DDD 工程实现整个代码开发。

1. 敏感词

地址：https://github.com/houbb/sensitive-word - 开源的敏感词库组件

  1. <dependency>
  2.     <groupId>com.github.houbb</groupId>
  3.     <artifactId>sensitive-word</artifactId>
  4.     <version>0.8.0</version>
  5. </dependency>

案例代码

  1. @Test
  2. public void test_sensitive_word() {
  3.     boolean contains = sensitiveWordBs.contains("小傅哥喜欢烧烤臭毛蛋，豆包爱吃粑粑，如果想吃订购请打电话：13900901878");
  4.     log.info("是否被敏感词拦截：{}", contains);
  5. }
  7. @Test
  8. public void test_sensitive_word_findAll() {
  9.     List<String> list = sensitiveWordBs.findAll("小傅哥喜欢烧烤臭毛蛋，豆包爱吃粑粑，如果想吃订购请打电话：13900901878");
  10.     log.info("测试结果：{}", JSON.toJSONString(list));
  11. }
  13. @Test
  14. public void test_sensitive_word_replace() {
  15.     String replace = sensitiveWordBs.replace("小傅哥喜欢烧烤臭毛蛋，豆包爱吃粑粑，如果想吃订购请打电话：13900901878");
  16.     log.info("测试结果：{}", replace);
  17. }
  • 敏感词组件提供了大量的风险词过滤，同时可以基于组件的文档完成自定义敏感词的增改删减操作。本文在工程中已提供
  • 敏感词组件提供了判断、查找、过滤操作。还有你可以把检测到的敏感词替换为 * 或者空格。

2. 内容审核

这里小傅哥以其中的一个百度云为例，为大家展示内容安全审核的使用。

  1. <!-- 百度内容审核 https://mvnrepository.com/artifact/com.baidu.aip/java-sdk -->
  2. <dependency>
  3.     <groupId>com.baidu.aip</groupId>
  4.     <artifactId>java-sdk</artifactId>
  5.     <version>4.16.17</version>
  6. </dependency>

2.1 配置应用

  • 先领取免费的调用次数，之后创建应用。创建应用后就可以获得连接信息；appid、apikey、secretkey
  • 另外是策略配置，如果你在过滤中不需要检测用户发的应用营销信息，那么是可以不检测的。

2.2 测试服务

  1. //设置APPID/AK/SK
  2. public static final String APP_ID = "{APP_ID}";
  3. public static final String API_KEY = "{API_KEY}";
  4. public static final String SECRET_KEY = "{SECRET_KEY}";
  5. private AipContentCensor client;
  7. @Before
  8. public void init() {
  9.     client = new AipContentCensor(APP_ID, API_KEY, SECRET_KEY);
  10.     // 可选：设置网络连接参数
  11.     client.setConnectionTimeoutInMillis(2000);
  12.     client.setSocketTimeoutInMillis(60000);
  13. }
  15. @Test
  16. public void test_textCensorUserDefined() throws JSONException {
  17.     for (int i = 0; i < 1; i++) {
  18.         JSONObject jsonObject = client.textCensorUserDefined("小傅哥喜欢烧烤臭毛蛋，豆包爱吃粑粑，如果想吃订购请打电话：13900901878");
  19.         if (!jsonObject.isNull("error_code")) {
  20.             log.info("测试结果：{}", jsonObject.get("error_code"));
  21.         } else {
  22.             log.info("测试结果：{}", jsonObject.toString());
  23.         }
  24.     }
  25. }

测试结果

  1. 13:41:16.393 [main] INFO com.baidu.aip.client.BaseClient - get access_token success. current state: STATE_AIP_AUTH_OK
  2. 13:41:16.396 [main] DEBUG com.baidu.aip.client.BaseClient - current state after check priviledge: STATE_TRUE_AIP_USER
  3. 13:41:16.495 [main] INFO cn.bugstack.x.api.test.BaiduAipContentCensorTest - 测试结果：{"conclusion":"合规","log_id":17046060767025067,"isHitMd5":false,"conclusionType":1}
  • 应为过滤掉了营销信息，比如手机号。那么就会返回合规

三、应用实现 - DDD 架构

做了以上的基本调用案例以后，我们来看下在系统中怎么运用这些基础功能完成业务诉求。

1. 工程结构

  • docs 下提供了 docker 安装 mysql 以及初始化数据库配置的脚本。因为本文的案例，可以满足你在数据库中增加敏感词配置。
  • app 是应用的启动层，如上我们所需的敏感词和内容审核，都在app层下配置启动处理。
  • domain 领域层通过策略+工厂，实现规则过滤服务。

2. 数据库表

  • 在docs 提供了数据库初始化的脚本语句，你可以导入到自己的数据库，或者使用 docker 脚本安装测试。—— 注意已经安装过 mysql 占用了 3306 端口的话，记得修改 docker 脚本安装 mysql 的端口。
  • 配置到数据库中的敏感词方便管理和使用，为了性能考虑也可以考虑使用 redis 做一层缓存。

3. 配置加载

3.1 敏感词初始化

  1. @Configuration
  2. public class SensitiveWordConfig {
  4.     @Bean
  5.     public SensitiveWordBs sensitiveWordBs(IWordDeny wordDeny, IWordAllow wordAllow) {
  6.         return SensitiveWordBs.newInstance()
  7.                 .wordDeny(wordDeny)
  8.                 .wordAllow(wordAllow)
  9.                 .ignoreCase(true)
  10.                 .ignoreWidth(true)
  11.                 .ignoreNumStyle(true)
  12.                 .ignoreChineseStyle(true)
  13.                 .ignoreEnglishStyle(true)
  14.                 .ignoreRepeat(false)
  15.                 .enableNumCheck(true)
  16.                 .enableEmailCheck(true)
  17.                 .enableUrlCheck(true)
  18.                 .enableWordCheck(true)
  19.                 .numCheckLen(1024)
  20.                 .init();
  21.     }
  23.     @Bean
  24.     public IWordDeny wordDeny(ISensitiveWordDao sensitiveWordDao) {
  25.         return new IWordDeny() {
  26.             @Override
  27.             public List<String> deny() {
  28.                 return sensitiveWordDao.queryValidSensitiveWordConfig("deny");
  29.             }
  30.         };
  31.     }
  33.     @Bean
  34.     public IWordAllow wordAllow(ISensitiveWordDao sensitiveWordDao) {
  35.         return new IWordAllow() {
  36.             @Override
  37.             public List<String> allow() {
  38.                 return sensitiveWordDao.queryValidSensitiveWordConfig("allow");
  39.             }
  40.         };
  41.     }
  43. }
  • wordDeny、wordAllow 是两个自定义的拦截和放行的敏感词列表，这里小傅哥设计从数据库中查询。可以方便动态的维护。

3.2 内容安全初始化

  1. # 内容安全
  2. baidu:
  3.   aip:
  4.     app_id: 46573000
  5.     api_key: XKOalQOgDBUrvgLBplvu****
  6.     secret_key: kwRh1bEhETYWpq9thzyySdFDPKUk****
  • 自定义一个配置文件类 AipContentCensorConfigProperties
  1. @Bean
  2. public AipContentCensor aipContentCensor(AipContentCensorConfigProperties properties) {
  3.     AipContentCensor client = new AipContentCensor(properties.getApp_id(), properties.getApi_key(), properties.getSecret_key());
  4.     client.setConnectionTimeoutInMillis(2000);
  5.     client.setSocketTimeoutInMillis(60000);
  6.     return client;
  7. }
  • 这里我们来统一创建 AipContentCensor 对象，用于有需要使用的地方处理内容审核。

4. 规则实现

源码： cn.bugstack.xfg.dev.tech.domain.service.IRuleLogicFilter

  1. public interface IRuleLogicFilter {
  3.     RuleActionEntity<RuleMatterEntity> filter(RuleMatterEntity ruleMatterEntity);
  5. }
  • 定义一个统一的规则过滤接口

4.1 敏感词

  1. @Slf4j
  2. @Component
  3. @LogicStrategy(logicMode = DefaultLogicFactory.LogicModel.SENSITIVE_WORD)
  4. public class SensitiveWordFilter implements IRuleLogicFilter {
  6.     @Resource
  7.     private SensitiveWordBs words;
  9.     @Override
  10.     public RuleActionEntity<RuleMatterEntity> filter(RuleMatterEntity ruleMatterEntity) {
  11.         // 敏感词过滤
  12.         String content = ruleMatterEntity.getContent();
  13.         String replace = words.replace(content);
  14.         // 返回结果
  15.         return RuleActionEntity.<RuleMatterEntity>builder()
  16.                 .type(LogicCheckTypeVO.SUCCESS)
  17.                 .data(RuleMatterEntity.builder().content(replace).build())
  18.                 .build();
  19.     }
  21. }

4.2 安全内容

  1. @Slf4j
  2. @Component
  3. @LogicStrategy(logicMode = DefaultLogicFactory.LogicModel.CONTENT_SECURITY)
  4. public class ContentSecurityFilter implements IRuleLogicFilter {
  6.     @Resource
  7.     private AipContentCensor aipContentCensor;
  9.     @Override
  10.     public RuleActionEntity<RuleMatterEntity> filter(RuleMatterEntity ruleMatterEntity) {
  11.         JSONObject jsonObject = aipContentCensor.textCensorUserDefined(ruleMatterEntity.getContent());
  12.         if (!jsonObject.isNull("conclusion") && "不合规".equals(jsonObject.get("conclusion"))) {
  13.             return RuleActionEntity.<RuleMatterEntity>builder()
  14.                     .type(LogicCheckTypeVO.REFUSE)
  15.                     .data(RuleMatterEntity.builder().content("内容不合规").build())
  16.                     .build();
  17.         }
  18.         // 返回结果
  19.         return RuleActionEntity.<RuleMatterEntity>builder()
  20.                 .type(LogicCheckTypeVO.SUCCESS)
  21.                 .data(ruleMatterEntity)
  22.                 .build();
  23.     }
  25. }

5. 工厂使用

  1. public class DefaultLogicFactory {
  3.     public Map<String, IRuleLogicFilter> logicFilterMap = new ConcurrentHashMap<>();
  5.     public DefaultLogicFactory(List<IRuleLogicFilter> logicFilters) {
  6.         logicFilters.forEach(logic -> {
  7.             LogicStrategy strategy = AnnotationUtils.findAnnotation(logic.getClass(), LogicStrategy.class);
  8.             if (null != strategy) {
  9.                 logicFilterMap.put(strategy.logicMode().getCode(), logic);
  10.             }
  11.         });
  12.     }
  14.     public RuleActionEntity<RuleMatterEntity> doCheckLogic(RuleMatterEntity ruleMatterEntity, LogicModel... logics) {
  15.         RuleActionEntity<RuleMatterEntity> entity = null;
  16.         for (LogicModel model : logics) {
  17.             entity = logicFilterMap.get(model.code).filter(ruleMatterEntity);
  18.             if (!LogicCheckTypeVO.SUCCESS.equals(entity.getType())) return entity;
  19.             ruleMatterEntity = entity.getData();
  20.         }
  21.         return entity != null ? entity :
  22.                 RuleActionEntity.<RuleMatterEntity>builder()
  23.                         .type(LogicCheckTypeVO.SUCCESS)
  24.                         .data(ruleMatterEntity)
  25.                         .build();
  26.     }
  27.     
  28. }
  • 定义出规则的使用工厂，通过构造函数的方式注入已经实现了接口 IRuleLogicFilter 的 N 个规则，注入到 Map 中 Map<String, IRuleLogicFilter> logicFilterMap
  • doCheckLogic 根据入参来过滤需要处理的规则。这里可以看到每过滤一个规则都会把参数继续传递给下一个规则继续筛选。有点像层层过筛子的感觉

四、测试验证

  1. 测试前确保已经初始化了库表 docs/dev-ops/sql/xfg-dev-tech-content-moderation.sql
  2. application-dev.yml 配置百度内容安全参数和数据库连接参数。

1. 功能测试

  1. @Slf4j
  2. @RunWith(SpringRunner.class)
  3. @SpringBootTest
  4. public class RuleLogicTest {
  6.     @Resource
  7.     private DefaultLogicFactory defaultLogicFactory;
  9.     @Test
  10.     public void test() {
  11.         RuleActionEntity<RuleMatterEntity> entity = defaultLogicFactory.doCheckLogic(
  12.                 RuleMatterEntity.builder().content("小傅哥喜欢烧烤臭毛蛋，豆包爱吃粑粑，如果想吃订购请打电话：13900901878").build(),
  13.                 DefaultLogicFactory.LogicModel.SENSITIVE_WORD,
  14.                 DefaultLogicFactory.LogicModel.CONTENT_SECURITY
  15.         );
  16.         log.info("测试结果：{}", JSON.toJSONString(entity));
  17.     }
  19. }

测试结果

  1. 24-01-07.14:17:16.988 [main            ] INFO  BaseClient             - get access_token success. current state: STATE_AIP_AUTH_OK
  2. 24-01-07.14:17:17.328 [main            ] INFO  RuleLogicTest          - 测试结果：{"data":{"content":"小傅哥喜欢烧烤***，豆包爱吃**，如果想吃订购请打电话：13900901878"},"type":"SUCCESS"}

2. 接口测试

  1. @RequestMapping(value = "sensitive/rule", method = RequestMethod.GET)
  2. public String rule(String content) {
  3.     try {
  4.         log.info("内容审核开始 content: {}", content);
  5.         RuleActionEntity<RuleMatterEntity> entity = defaultLogicFactory.doCheckLogic(RuleMatterEntity.builder().content(content).build(),
  6.                 DefaultLogicFactory.LogicModel.SENSITIVE_WORD,
  7.                 DefaultLogicFactory.LogicModel.CONTENT_SECURITY
  8.         );
  9.         log.info("内容审核完成 content: {}", entity.getData());
  10.         return JSON.toJSONString(entity);
  11.     } catch (Exception e) {
  12.         log.error("内容审核异常 content: {}", content, e);
  13.         return "Err!";
  14.     }
  15. }

接口：http://localhost:8091/api/v1/content/sensitive/rule?content=小傅哥喜欢烧烤臭毛蛋，豆包爱吃粑粑，如果想吃订购请打电话：13900901878

  • 那么现在就可以对内容进行审核过滤了。

六、推荐阅读

原文链接：https://www.cnblogs.com/xiaofuge/p/17955744

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

职业生涯热门文章

  • 读哪些书可以提高思维逻辑和语言表达能力？
  • 一篇为你解读商业模式的文章
  • 2019 上半年软件设计师真题及参考答案
  • 我在华为OD的275天
  • Unity 基于 WebRTC 的云功能
  • 那些自律到极致的人，都拥有了开挂的人生
  • 那些拼命加班的程序员们，后来都怎么样了？
  • ssm整合各配置文件
  • 如何提升你在职场中的洞察力？
  • 堪比慢性自杀的习惯它排第一 你中招了吗？

    • 职业生涯推荐文章

  • 好的职场关系，都是有条件的
  • 如何有效管理高敏感的员工？
  • 记录兼职运维的一天
  • 老弟想自己做个微信，被我一个问题劝退了。。
  • 数据库与我：一段关于学习与成长的深情回顾
  • 激活员工，别讲大道理
  • 我可以写代码写到退休吗？记录我的10年前端技术之旅
  • 裸辞后，我成为全职占星师
  • 如何做笔记？
  • 我的自白书之简历

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号