来自http://emily2ly.iteye.com/blog/742870 和 http://blog.csdn.net/luojinping/article/details/8788743


一、ICTCLAS的介绍

  中国科学院计算技术研究所在多年研究基础上，耗时一年研制出了基于多层隐码模型的汉语词法分析系统 ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，该系统的功能有：中文分词；词性标注；未登录词识别。分词正确率高达97.58%(最近的973专家组评测结果)，基于角色标注的未登录词识别能取得高于90%召回率，其中中国人名的识别召回率接近98%，分词和词性标注处理速度为31.5KB/s。ICTCLAS 和计算所其他14项免费发布的成果被中外媒体广泛地报道，国内很多免费的中文分词模块都或多或少的参考过ICTCLAS的代码。

 

二、开始使用ICTCLAS进行分词

1.下载ictclasj

  首先到ictclas的网站下载JAVA版本的ictclas——ictclasj。

  下载地址 ：http://ictclas.org/Down_OpenSrc.asp

2.在Eclipse中 新建项目并进行 配置

  首先把 ictclasj解压缩，然后把 Data文件夹整个拷贝到 Eclipse项目的文件夹下, 而 bin目录下的 org文件夹整个拷贝到你Eclipse项目的 bin目录下，把src目录下的org文件夹整个拷贝到 Eclipse项目 的src目录下。

3.测试分词结果

Java代码   收藏代码
  1. import org.ictclas4j.bean.SegResult;  
  2. import org.ictclas4j.segment.SegTag;  
  3.   
  4. public class TextSegmentation {  
  5.   
  6.     public static void main(String[] args) {  
  7.         String fileContent = "中国科学院计算技术研究所在多年研究基础上，" +  
  8.                 "耗时一年研制出了ICTCLAS汉语词法分析系统";  
  9.         SegTag segTag = new SegTag(1);// 分词路径的数目          
  10.         SegResult segResult = segTag.split(fileContent.trim());  
  11.         String classifyContent = segResult.getFinalResult();  
  12.         System.out.println("分词结果\n"+classifyContent);  
  13.     }  
  14. }  

 

就是这样，我们可以得到输出的结果，并且带有词性的标注。

Java代码   收藏代码
  1. 分词结果  
  2. 中国科学院/n 计算/n 技术/n 研究所/n 在/c 多年/m 研究/n 基础/a 上/f ，/w 耗时/v 一/d 年/a 研制/v 出/q 了/u ICTCLAS/nx 汉语/n 词法/n 分析/v 系统/a   
 

三、关于可能出现的错误  

    1.越界错误

在Dictionary.java里面的getMaxMatch()函数里要注意加上对wis的判断语句

Java代码   收藏代码
  1. if(wis != null)  

 否则有时会报出越界错误


3.关于第三点越界的问题之前的博主没有注意到

在Dictionary.Java的findInModifyTable方法中有这么一段：

[java]  view plain copy
  1. if (mts != null && mts.size() > index) {  
  2.               
  3.             ArrayList<WordItem> wis = mts.get(index).getWords();  
  4. .....  
  5.   
  6. }  
此处需要对index进行负数的判断，应改为

[java]  view plain copy
  1. if (mts != null && mts.size() > index) {  
  2.            
  3.             if(index < 0)  
  4.                 return result;  
  5.               
  6.             ArrayList<WordItem> wis = mts.get(index).getWords();  
  7. ........  
  8.   
  9. }  
 


  3. “org.apache”

这个新建的测试类可能会提示错误："The import org.apache cannot be resolved"，这是由于系统需要一个Apache的commons-lang-2.4.jar。

 

Logo
MCP技术社区

欢迎加入 MCP 技术社区！与志同道合者携手前行，一同解锁 MCP 技术的无限可能！

更多推荐

cover

【CodeBuddy + 自制MCP】给AI装上翅膀，快速绘制思维导图

avatar MCP技术社区

如何将普通HTTP API接口改造为MCP服务器

创建.proto通过本文的四步改造法，你可获得：✅ 配置更新延迟降低90%✅ 网络带宽消耗减少70%✅ 服务端资源占用下降60%✅ 原生支持百万级节点连接升级到MCP不仅是协议转换，更是配置分发模式的架构进化。立即行动，让你的微服务配置管理进入实时推送时代！更多Istio进阶技巧请关注专栏【Service Mesh深度实践】

avatar MCP技术社区

npm 与 npx 区别详解。以及mcp中npx加载原理。

场景推荐工具原因项目必需依赖（如 React）npm需要长期存在 node_modules构建工具/脚手架npx偶尔执行且需最新版本命令行工具npx避免全局安装造成版本冲突💡黄金法则npm用于管理依赖，npx用于执行命令！当遇到mcp这类工具时，大胆使用 npx 吧！

avatar MCP技术社区