经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » Java相关 » Java » 查看文章
java 中文繁简体转换工具 opencc4j 使用介绍 1.8.0
来源:cnblogs  作者:老马啸西风  时间:2023/3/14 13:43:16  对本文有异议

Opencc4j

Opencc4j 支持中文繁简体转换,考虑到词组级别。

在线体验

Features 特点

  • 严格区分「一简对多繁」和「一简对多异」。

  • 完全兼容异体字,可以实现动态替换。

  • 严格审校一简对多繁词条,原则为「能分则不合」。

  • 词库和函数库完全分离,可以自由修改、导入、扩展。

  • 兼容 Windows、Linux、Mac 平台。

  • 支持自定义分词

  • 支持判断单个字(词)是否为简体/繁体

  • 支持返回字符串中简体/繁体的列表信息

  • 支持中国台湾地区繁简体转换

v1.8.0 版本变更

  • 丰富工具类方法

  • 优化繁简体判断逻辑

变更日志

创作缘由

  • OpenCC

OpenCC 的思想非常优秀,做的也特别棒。但是没有特别为 java 提供的工具。

  • jopencc

jopencc 没有提供分词功能。

快速开始

maven 引入

  1. <dependency>
  2. <groupId>com.github.houbb</groupId>
  3. <artifactId>opencc4j</artifactId>
  4. <version>1.8.0</version>
  5. </dependency>

api 概览

核心工具列表如下:

序号 工具类 简介
1 ZhConverterUtil 基础的繁简体转换
2 ZhTwConverterUtil 台湾地区的繁简体转换

所有的工具类方法具有相同的方法设计,便于记忆。

核心方法如下:

序号 api 方法 简介
1 toSimple(String) 转为简体
2 toTraditional(String) 转为繁体
3 simpleList(String) 返回包含的简体列表
4 traditionalList(String) 返回包含的繁体列表
5 toSimple(char) 返回单个汉字对应的所有简体字列表
6 toTraditional(char) 返回单个汉字对应的所有繁体字列表
7 isSimple(String) 是否全部为简体
8 isSimple(char) 单个字符是否为简体
9 containsSimple(String) 字符中是否为包含简体
10 isTraditional(String) 是否全部为繁体
11 isTraditional(char) 单个字符是否为繁体
12 containsTraditional(String) 字符中是否为包含繁体
13 isChinese(String) 是否全部为中文
14 isChinese(char) 单个字符是否为中文
15 containsChinese(char) 字符串中是否包含中文

繁简体转换

转为简体 toSimple

  1. String original = "生命不息,奮鬥不止";
  2. String result = ZhConverterUtil.toSimple(original);
  3. Assert.assertEquals("生命不息,奋斗不止", result);

转为繁体 toTraditional

  1. String original = "生命不息,奋斗不止";
  2. String result = ZhConverterUtil.toTraditional(original);
  3. Assert.assertEquals("生命不息,奮鬥不止", result);

繁简体判断

对单个字符或者词组进行繁简体判断。

是否为简体 isSimple

  1. Assert.assertTrue(ZhConverterUtil.isSimple('奋'));
  2. Assert.assertTrue(ZhConverterUtil.isSimple("奋"));
  3. Assert.assertTrue(ZhConverterUtil.isSimple("奋斗"));
  4. Assert.assertFalse(ZhConverterUtil.isSimple('奮'));
  5. Assert.assertFalse(ZhConverterUtil.isSimple("奮"));
  6. Assert.assertFalse(ZhConverterUtil.isSimple("奮鬥"));
  7. Assert.assertFalse(ZhConverterUtil.isSimple("奮斗"));
  8. Assert.assertFalse(ZhConverterUtil.isSimple("beef"));

是否包含简体 containsSimple

  1. Assert.assertTrue(ZhConverterUtil.containsSimple("奋"));
  2. Assert.assertTrue(ZhConverterUtil.containsSimple("奋斗"));
  3. Assert.assertTrue(ZhConverterUtil.containsSimple("奋斗2023"));
  4. Assert.assertFalse(ZhConverterUtil.containsSimple("編"));
  5. Assert.assertFalse(ZhConverterUtil.containsSimple("編號"));

是否为繁体 isTraditional

  1. Assert.assertTrue(ZhConverterUtil.isTraditional('編'));
  2. Assert.assertTrue(ZhConverterUtil.isTraditional("編"));
  3. Assert.assertTrue(ZhConverterUtil.isTraditional("編號"));
  4. Assert.assertFalse(ZhConverterUtil.isTraditional('编'));
  5. Assert.assertFalse(ZhConverterUtil.isTraditional("编"));
  6. Assert.assertFalse(ZhConverterUtil.isTraditional("编号"));
  7. Assert.assertFalse(ZhConverterUtil.isTraditional("编號"));

是否包含繁体 containsTraditional

  1. Assert.assertTrue(ZhConverterUtil.containsTraditional("編"));
  2. Assert.assertTrue(ZhConverterUtil.containsTraditional("編號"));
  3. Assert.assertTrue(ZhConverterUtil.containsTraditional("編號2023"));
  4. Assert.assertFalse(ZhConverterUtil.containsTraditional("号"));
  5. Assert.assertFalse(ZhConverterUtil.containsTraditional("编号"));

句子中包含的繁简体列表返回

返回字符串中繁简体对应的词、字列表,默认支持中文分词。

繁简体列表返回的词组和分词策略紧密相关。

简体列表 simpleList

  1. final String original = "生命不息奋斗不止";
  2. final List<String> resultList = ZhConverterUtil.simpleList(original);
  3. Assert.assertEquals("[生, 命, 不, 息, 奋斗, 不, 止]", resultList.toString());

繁体列表 traditionalList

PS: 很多字是同体字。

  1. final String original = "生命不息奮鬥不止";
  2. final List<String> resultList = ZhConverterUtil.traditionalList(original);
  3. Assert.assertEquals("[生, 命, 不, 息, 奮, 鬥, 不, 止]", resultList.toString());

单个汉字对应的繁简体列表

繁体字列表

  1. Assert.assertEquals("[幹, 乾, 干]", ZhConverterUtil.toTraditional('干').toString());
  2. Assert.assertEquals("[發, 髮]", ZhConverterUtil.toTraditional('发').toString());

简体字列表

  1. Assert.assertEquals("[测]", ZhConverterUtil.toSimple('測').toString());

中文工具方法

是否为中文 isChinese

  1. Assert.assertTrue(ZhConverterUtil.isChinese("你"));
  2. Assert.assertTrue(ZhConverterUtil.isChinese("你好"));
  3. Assert.assertTrue(ZhConverterUtil.isChinese('你'));
  4. Assert.assertFalse(ZhConverterUtil.isChinese("你0"));
  5. Assert.assertFalse(ZhConverterUtil.isChinese("10"));
  6. Assert.assertFalse(ZhConverterUtil.isChinese('0'));
  7. Assert.assertFalse(ZhConverterUtil.isChinese(""));
  8. Assert.assertFalse(ZhConverterUtil.isChinese(null));

是否包含中文 containsChinese

  1. Assert.assertTrue(ZhConverterUtil.containsChinese("你"));
  2. Assert.assertTrue(ZhConverterUtil.containsChinese("你好"));
  3. Assert.assertTrue(ZhConverterUtil.containsChinese("你0"));
  4. Assert.assertFalse(ZhConverterUtil.containsChinese("10"));
  5. Assert.assertFalse(ZhConverterUtil.containsChinese(""));
  6. Assert.assertFalse(ZhConverterUtil.containsChinese(null));

中国台湾繁简体转换

工具类

为保证方法的一致性,引入 ZhTwConverterUtil 工具类,支持方法和 ZhConverterUtil 保持一致。

测试用例

简体到繁体:

  1. String original = "使用互联网";
  2. String result = ZhTwConverterUtil.toTraditional(original);
  3. Assert.assertEquals("使用網際網路", result);

繁体到简体:

  1. String original = "使用網際網路";
  2. String result = ZhTwConverterUtil.toSimple(original);
  3. Assert.assertEquals("使用互联网", result);

配置引导类

引导类说明

主要的可配置项包含了分词和数据集合。

二者都是可以配置,并且支持自定的。

默认配置

默认工具类等价于如下:

  1. ZhConvertBootstrap.newInstance()
  2. .segment(Segments.defaults())
  3. .dataMap(DataMaps.defaults());

中国台湾地区配置

中国台湾地区配置等价于:

  1. ZhConvertBootstrap.newInstance()
  2. .segment(Segments.defaults())
  3. .dataMap(DataMaps.taiwan());

中文分词策略

系统内置分词方式

你可以通过 Segments 工具类获取系统内置的分词实现。

序号 方法 准确性 性能 备注
1 defaults() 默认分词形式,暂时为 fastForward 策略
2 fastForward() 较高 fast-forward 分词策略
3 chars() 将字符串转换为单个字符列表,一般不建议使用
4 huaBan() 一般 花瓣的结巴分词策略

花瓣结巴分词

花瓣结巴分词在使用时,需要自行引入结巴分词依赖。

  1. <dependency>
  2. <groupId>com.huaban</groupId>
  3. <artifactId>jieba-analysis</artifactId>
  4. <version>1.0.2</version>
  5. </dependency>

自定义

你有时候可能除了上述的两种分词方式,会有更加适合自己业务的分词实现。

Opencc4j 支持自定义分词实现,只需要实现分词接口 Segment

  • 接口内容
  1. public interface Segment {
  2. /**
  3. * 分词
  4. * @param original 原始信息
  5. * @return 分词后的列表
  6. */
  7. List<String> seg(final String original);
  8. }

测试代码

自定义分词实现类

  1. /**
  2. * 一个最简单的分词实现。
  3. * 注意:仅仅做演示,不可实际使用。
  4. */
  5. public class FooSegment implements Segment {
  6. @Override
  7. public List<String> seg(String original) {
  8. return Arrays.asList(original, "测试");
  9. }
  10. }

分词测试

我们自定义的分词,直接在默认添加“测试”这样的信息。

  1. final String original = "寥落古行宫,宫花寂寞红。白头宫女在,闲坐说玄宗。";
  2. final Segment segment = new FooSegment();
  3. final String result = ZhConvertBootstrap.newInstance()
  4. .segment(segment)
  5. .toTraditional(original);
  6. Assert.assertEquals("寥落古行宮,宮花寂寞紅。白頭宮女在,閒坐說玄宗。測試", result);

数据接口自定义

不同的地区,对应的转换规则是不同的。

具体参考一下台湾地区的使用方式即可。

接口说明

IDataMap 的接口如下。

  1. /**
  2. * 数据 map 接口
  3. * @author binbin.hou
  4. * @since 1.5.2
  5. */
  6. public interface IDataMap {
  7. /**
  8. * 繁体=》简体 词组
  9. * @return 结果
  10. * @since 1.5.2
  11. */
  12. Map<String, List<String>> tsPhrase();
  13. /**
  14. * 繁体=》简体 单个字
  15. * @return 结果
  16. * @since 1.5.2
  17. */
  18. Map<String, List<String>> tsChar();
  19. /**
  20. * 简体=》繁体 词组
  21. * @return 结果
  22. * @since 1.5.2
  23. */
  24. Map<String, List<String>> stPhrase();
  25. /**
  26. * 简体=》繁体 单个字
  27. * @return 结果
  28. * @since 1.5.2
  29. */
  30. Map<String, List<String>> stChar();
  31. /**
  32. * 繁体字所有字符
  33. * @return 繁体字所有字符
  34. * @since 1.6.2
  35. */
  36. Set<String> tChars();
  37. /**
  38. * 简体字所有字符
  39. * @return 繁体字所有字符
  40. * @since 1.8.0
  41. */
  42. Set<String> sChars();
  43. }

自定义说明

如果需要拓展对应的数据,建议继承原始的实现,然后添加额外的数据信息即可。

可以参考 中国台湾地区实现

ps: 后续考虑引入更加简单的实现方式,比如基于文本拓展,不过可扩展性没有接口灵活。

技术鸣谢

OpenCC

OpenCC 提供的原始数据信息。

花瓣

jieba-analysis 提供中文分词

Issues & Bugs

需求和 BUG 在这里,欢迎提供宝贵的建议。

如果对您有帮助,欢迎 Star 鼓励作者。

NLP 开源矩阵

pinyin 汉字转拼音

pinyin2hanzi 拼音转汉字

segment 高性能中文分词

opencc4j 中文繁简体转换

nlp-hanzi-similar 汉字相似度

word-checker 拼写检测

sensitive-word 敏感词

后期 Road-Map

原文链接:https://www.cnblogs.com/houbbBlogs/p/17214668.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号