1、 修改字典格式,提高字典加载速度 2、 增加对英文专业名词的支持 如C++,C#等只要加入字典就可以被分出来 3、 增加词频判断功能,在无法取舍时根据词频取舍 4、 增加优先优先词频选项,通过这个选项动态决定分词粒度 需打开 FreqFirst 5、 增加中文人名前后缀统计和根据该统计定位人名的功能 6、 增加中文人名和未登录词出现频率统计功能 7、 增加自动更新字典功能,对超过阈值的人名和未登录词自动插入字典 需打开 AutoInsertUnknownWords 开关 并设置 UnknownWordsThreshold,(不推荐自动插入,推荐手工插入) 8、 增加定期保存字典和统计结果功能 需设置 AutoSaveInterval 9、 增加KTDictSeg.xml配置文件来配置分词参数 10、增加对Lucene.net 的支持,提供 KTDictSegAnalyzer 分析器给Lucene.net 11、增加字典管理功能,可以添加删除修改字典 12、字典管理中提供从未登录词中批量插入字典功能,可帮助使用者手工选择合适的未登录词插入字典(推荐) 13、提供一个新闻搜索的简单例子,采用Lucene.net+KTDictSegAnalyzer+KTDictSeg,项目名为Demo.KTDictSegAnalyzer 14、将所有ArrayList 改为List<> 其中 src_V1.3.01是源码 rel_V1.3.01 包含所有的可执行文件,配置文件;Data目录下是词库,停用词表,以及我目前统计的人名前后缀词表;News 目录下是Lucene.net为 新闻搜索的例子建的索引。 News.zip 是上图中批量插入时要输入的XML文件,它包含3万条从新浪和中华网抓下来的过时的新闻,大约2000万字左右,可供各位朋友学习使用。 注意:如果要导入news.xml,这个文件必须要和Demo.KTDictSegAnalyzer.exe放在同一个目录下!
2023-09-11 06:09:00 3.04MB C# 盘古分词 KTDictSeg 张勇涛
1
PanGu_SourceCode_V2.3.1.0 盘古分词源码下载
2022-03-31 11:44:34 3.92MB PanGu 盘古分词
1
这是Pangu分词,可以很清楚的看到分词效果,协助创建索引中文分词效果,还可以进行字典管理,打开release里面的demo.exe直接可以用,字典都在里面
2022-03-31 11:26:36 1.25MB Lucene.net 盘古分词 字典管理
1
盘古分词是个不错的中文分词c#库 这个例子演示多线程的使用方式
2022-03-31 08:44:10 955KB c# 分词
1
最新逆向最大匹配分词算法 盘古分词 分词算法 中文分词 源码
2022-03-23 22:21:30 1.15MB 最大匹配 分词算法 盘古分词 分词算法
1
盘古分词,用过的都说好用,简单方便,数据存储,文件
2021-12-13 15:10:54 74.23MB 分词
1
盘古分词器做的搜索引擎
2021-11-29 19:10:38 3.33MB 盘古分词 lucene net netcore
1
这是一个Lucene.net的多索引示例,以数据库的动态数据为数据源,每个表对应一个索引,使用了盘古分词方法,适用于中文的分词,并且实现了增删改查的所有功能。 同时,在查询索引时,适用了分页方法,可直接引用到项目中使用。 无需修改即可运行,代码有明确的注释,一看就懂。
2021-11-12 10:46:06 3.25MB Lucene.net 增删改查 多索引 盘古分词
1
整理开发Lucene+盘古分词 开发搜索引擎用到的所有必备资源 亲测可用
2021-11-10 09:33:18 2.47MB Lucene dict PanGu Analyzer
1
Lucene.Net +盘古分词 搜索引擎,Lucene.Net2.9.4.版本,vs2012开发,通过实例可以有初步的认识和了解
2021-11-10 09:31:52 3.41MB Lucene.Net+盘古分词
1