华宇拼音输入法论坛

标题: 谁说说新的系统词库和大词库、清一词库的比较 [打印本页]

作者: wwk51 时间: 2007-11-16 12:07
标题: 谁说说新的系统词库和大词库、清一词库的比较
V6正式版新的系统词库究竟完善的如何？还用不用装大词库或者清一词库？首选词库用装吗？大虾们说说看。

作者: kingdick 时间: 2007-11-16 12:29
新的系统词库只有清一词库的一半大小，估计去除了不少垃圾词汇。首选词库嘛，我自己是不用的。

作者: ZXD4G 时间: 2007-11-16 12:55
非常抱歉，疏忽了对新版词库变更有所交代了。

1.新版词库的主要目标——扩增内容，就说系统词库吧，在扩编的同时，还伴随着一些删减和分流到其它词库，工作方案繁多，简列几个：
1)多种词典，不枚举了
2)自造词组或短语，主要丰富”口语化“或”白话“用语，添加了”太*了“(“太酷了”之类)、”*性“(“能动性”之类)、“*度"(”休闲度“之类)、”*了个*“(”吃了个饭“、”打了个半死“之类)等等几十种模式的词
3)新词，2002/2007等年度词汇
4)删减内容：一些能够智能组出的词，被无情地删除，但也仍然保持了很多；删减还是保持的标准是什么，说实话，挺主观的，以后逐渐定型吧

2.风版大库和清一词库
长期耕耘的fengyu29，博采众家之长，打造了50多万条词，一度是紫光拼音输入法的唯一良伴，今亦发挥着巨大作用；清一词库是另一网友在fengyu29的授权下，以另外一种标准或思路来勘校、增删的结果，该网友平均每日投入3个小时左右，也是奉献十足，令人敬佩。作为规模”适量版“的上界和”豪华版“的下界，这两个库都是不错的。

3.首选词库
语文健者AhMan老兄的大作，其投入的精致不知造福了多少拼音用户。该库主要是从词条的拼音重码入手，以自己对汉语的高超驾驭与理解，把握首选词，苦力活儿是一一设置词条的词频数值，这番劳作下来，使得输入流畅程度大为改善。

借此，也来说说V6正式版的词频变化(也许，应该在一个更加显著的地方隆重说明)，记得B3发布时，登了一篇词频变化说明，那时，我们得到了一定规模的语料，从中挖掘词频，感觉相当有成就感。继而，一些有关首选命中率的探讨(这里，其实也得感谢拼音佳佳，它的拥趸”真拼音加加“以”独特“的方式促进了竞争的发展)，使我们认识到B3的词频不是那么权威，瑕疵遍地，也就成了缺陷，主要原因是语料加工过程少了一道工序——分词；于是，正式版推出之前，对语料进行了加工，先产生”熟语料“(不怕行家笑话，开发团队省悟到这一点，确有些晚了)，再来统计词频，这个活儿赶下来，也使得曾经想”近期发布“的正式版，又延期了一个月，抱歉得很(是否谦虚的我，常说抱歉呢？

)。昨日发布的正式版，词频是经过了分词优化的，所以有网友反映输入流畅感增加了，但我们清楚地知道，这个路还长，一定还有诸多不精之处，定将持续努力，至少，先得与AhMan大作的首选进行一些对比和分析，再来权衡之后版本的的词频。

[ 本帖最后由 ZXD4G 于 2007-11-16 12:57 编辑 ]

作者: fengchun 时间: 2007-11-16 13:03
怪不得谣言放出后又等了一个月

作者: krsun 时间: 2007-11-16 13:27
我感觉紫光的系统词库中已经部分的融入了风版和清一词库。另外我一直认为光靠一个人是无法维护和完善好词库的，相信紫光以后会更好的完善系统词库。目前已经只用系统词库和自己的用户词库了。

作者: lionboy 时间: 2007-11-16 13:28

原帖由 ZXD4G 于 2007-11-16 12:55 发表
非常抱歉，疏忽了对新版词库变更有所交代了。

1.新版词库的主要目标——扩增内容，就说系统词库吧，在扩编的同时，还伴随着一些删减和分流到其它词库，工作方案繁多，简列几个：
1)多种词典，不枚举了
2)自造词 ...

谢谢版主说明，顺便问下怎么不见清一词库的踪影了呢？

作者: yaclear 时间: 2007-11-16 13:34
就在今天下午发布清一词库的新版～

作者: lionboy 时间: 2007-11-16 13:38

原帖由 yaclear 于 2007-11-16 13:34 发表
就在今天下午发布清一词库的新版～

在什么地方发布？

大约什么时候？

作者: yaclear 时间: 2007-11-16 13:46

原帖由 lionboy 于 2007-11-16 13:38 发表

在什么地方发布？大约什么时候？

下午晚些时候吧，会在官网的词库下载那里放，同时也会找个快点的网络空间存放。

作者: lionboy 时间: 2007-11-16 13:48

原帖由 yaclear 于 2007-11-16 13:46 发表

下午晚些时候吧，会在官网的词库下载那里放，同时也会找个快点的网络空间存放。

先在论坛传上来，大家爽爽

作者: ZXD4G 时间: 2007-11-16 13:55
此刻，正在对清一词库做分词＋统计词频＋置频，分词已于二十分钟前完成，统计中...，预计15:00或出头儿，能够发布。

作者: lionboy 时间: 2007-11-16 14:00

原帖由 ZXD4G 于 2007-11-16 13:55 发表
此刻，正在对清一词库做分词＋统计词频＋置频，分词已于二十分钟前完成，统计中...，预计15:00或出头儿，能够发布。

感谢大家的劳动，热烈期待

作者: 野风 时间: 2007-11-16 14:26
我现在只用了系统词库，没有用大词库和清一词库。新版清一词库发布后，左盟主，你建议用哪一个较好？谢谢！

作者: summer168 时间: 2007-11-16 14:40
根据三楼的“交代”，我决定就用系统词库。

作者: summer168 时间: 2007-11-16 14:41

原帖由野风于 2007-11-16 14:26 发表
我现在只用了系统词库，没有用大词库和清一词库。新版清一词库发布后，左盟主，你建议用哪一个较好？谢谢！

你的头像很漂亮

作者: 野风 时间: 2007-11-16 14:43

原帖由 summer168 于 2007-11-16 14:40 发表
根据三楼的“交代”，我决定就用系统词库。

168兄，我现在也在用系统词库，感觉很流畅，准确率也很高啊！o(∩_∩)o ！但新版清一词库发布后，我就拿不准了！

作者: 野风 时间: 2007-11-16 14:44

原帖由 summer168 于 2007-11-16 14:41 发表

你的头像很漂亮

你是第二个夸我的头像漂亮的了！

作者: lionboy 时间: 2007-11-16 14:58

原帖由 ZXD4G 于 2007-11-16 13:55 发表
此刻，正在对清一词库做分词＋统计词频＋置频，分词已于二十分钟前完成，统计中...，预计15:00或出头儿，能够发布。

大板，3点出头了，发布了没啊？

作者: ZXD4G 时间: 2007-11-16 15:09
已经提交，也就是挪腾一下的时间了。

作者: lionboy 时间: 2007-11-16 15:11

原帖由 ZXD4G 于 2007-11-16 15:09 发表
已经提交，也就是挪腾一下的时间了。

哈哈哈，我抄家伙等着了

作者: ZXD4G 时间: 2007-11-16 15:13
不妥，发现论坛附件限制为4M，这个词库是5M多点儿，需改一下配置，请耐心再等几分钟。

作者: lionboy 时间: 2007-11-16 15:15

原帖由 ZXD4G 于 2007-11-16 15:13 发表
不妥，发现论坛附件限制为4M，这个词库是5M多点儿，需改一下配置，请耐心再等几分钟。

分包啊，老大

作者: wwk51 时间: 2007-11-16 15:19

原帖由 ZXD4G 于 2007-11-16 13:55 发表
此刻，正在对清一词库做分词＋统计词频＋置频，分词已于二十分钟前完成，统计中...，预计15:00或出头儿，能够发布。

那请问，现在主页上挂的风版大词库有没有经过分词＋统计词频＋置频呀，谢谢？
另外十分感谢版主对词库的解释，一如既往的支持紫光，现在也在用系统词库加自己的用户词库，没有挂大词库呢还，犹豫中。

作者: 野风 时间: 2007-11-16 15:21

原帖由 lionboy 于 2007-11-16 15:11 发表

哈哈哈，我抄家伙等着了

小心！别把显示器砸了！

作者: ZXD4G 时间: 2007-11-16 15:22
也准备操作一轮，正要和风版协商。
先给清一弄了，是yaclear前几天就委托的了，只好委屈风版略微滞后一些了。

作者: 野风 时间: 2007-11-16 15:22

原帖由 wwk51 于 2007-11-16 15:19 发表

那请问，现在主页上挂的风版大词库有没有经过分词＋统计词频＋置频呀，谢谢？
另外十分感谢版主对词库的解释，一如既往的支持紫光，现在也在用系统词库加自己的用户词库，没有挂大词库呢还，犹豫中。

为什么这个帖子的字没有同时上来？
大词库还没这么操作过！

[ 本帖最后由野风于 2007-11-16 15:25 编辑 ]

作者: lionboy 时间: 2007-11-16 15:24
还没传上来哦

作者: ZXD4G 时间: 2007-11-16 15:25
靓妞儿，嘴别往下撇呀，要像这样

作者: lionboy 时间: 2007-11-16 15:26

原帖由 ZXD4G 于 2007-11-16 15:25 发表
靓妞儿，嘴别往下撇呀，要像这样

版主好涩啊

作者: 野风 时间: 2007-11-16 15:27

原帖由 ZXD4G 于 2007-11-16 15:25 发表
靓妞儿，嘴别往下撇呀，要像这样

左盟主，你总不能老是作“黑人”吧？

还有，我该用哪个词库啊？

作者: 野风 时间: 2007-11-16 15:28

原帖由 lionboy 于 2007-11-16 15:26 发表

版主好涩啊

嗨，lionboy，你的显示器无恙乎？

作者: wwk51 时间: 2007-11-16 15:31

原帖由野风于 2007-11-16 15:27 发表

还有，我该用哪个词库啊？

9494，好困惑呀

作者: lionboy 时间: 2007-11-16 15:32

原帖由野风于 2007-11-16 15:28 发表

嗨，lionboy，你的显示器无恙乎？

快让我吃下了

作者: lionboy 时间: 2007-11-16 15:33
野风你头像是谁来着？

作者: 野风 时间: 2007-11-16 15:36

原帖由 lionboy 于 2007-11-16 15:33 发表
野风你头像是谁来着？

是陈水扁的大小姐！

作者: lionboy 时间: 2007-11-16 15:36

原帖由野风于 2007-11-16 15:36 发表

是陈水扁的大小姐！

叫什么名字？

作者: 野风 时间: 2007-11-16 15:37

原帖由 lionboy 于 2007-11-16 15:36 发表

叫什么名字？

陈幸妤！
你不会为她出头，告我侵权吧？

没想到陈水扁长得不咋地，她的千金倒是出人头地！

[ 本帖最后由野风于 2007-11-16 15:39 编辑 ]

作者: lionboy 时间: 2007-11-16 15:38

原帖由野风于 2007-11-16 15:37 发表

陈幸妤！

谢谢兄弟

作者: ZXD4G 时间: 2007-11-16 15:39
正要开始优化风版的了，全活儿一趟需要3.5～4小时。

该用哪个，要看你的文字习惯和输入习惯，大致分析一下：
1.字词为主＋行文基本白话——系统库就足矣
2.字词为主＋语词还算丰富——两个大库均可，不过就目前来看，清一最近投入较多，也许质量更好一些，不过应该有限，毕竟这个活儿太大了
3.夹杂组词输入——系统库能罩住一定局面，但算法还在改进中，也许需要两个大库支持，才能更好；待下一版本，组词的惊人之举落地，可能小库就够了；组词的发展现状和发展前景预估：准确率1/3-->2/3～3/4。这个习惯，如果还要从事偏向古文研究方向，则大库可能都有欠，故，所有词库都应持续发展。

词库的重复劳动如何避免：以前，自身腰板儿不够硬朗，又不想全权依托两个大库，所以投入了不少重复劳力，现在，总结了些工作方法了，将对词库发展进行规划，大家一起来整；前几天，在旧坛征文共建诗词词库，可算是个信号吧。

作者: lionboy 时间: 2007-11-16 15:40
哈哈哈，我是第一个在官网下青衣的

作者: caihong5 时间: 2007-11-16 15:42
清一词库已经上传到输入法网站上，大家可以去下载使用拉……

作者: 野风 时间: 2007-11-16 15:43

原帖由 ZXD4G 于 2007-11-16 15:39 发表
正要开始优化风版的了，全活儿一趟需要3.5～4小时。

该用哪个，要看你的文字习惯和输入习惯，大致分析一下：
1.字词为主＋行文基本白话——系统库就足矣
2.字词为主＋语词还算丰富——两个大库均可，不过就目前 ...

左盟主辛苦了！你在这方面的功底，我还是了解的！呵呵！

[ 本帖最后由野风于 2007-11-16 16:41 编辑 ]

作者: lionboy 时间: 2007-11-16 15:44

原帖由野风于 2007-11-16 15:37 发表

陈幸妤！
你不会为她出头，告我侵权吧？

没想到陈水扁长得不咋地，她的千金倒是出人头地！

也就个女儿还能拿出门

作者: 野风 时间: 2007-11-16 15:45

原帖由 caihong5 于 2007-11-16 15:42 发表
清一词库已经上传到输入法网站上，大家可以去下载使用拉……

彩管也现身了！呵呵！

作者: wwk51 时间: 2007-11-16 15:47
我是第三个

准备先下下来，先用一段系统词库看看效果，再决定是否替换为清一词库
谢谢大虾们的辛勤劳动！

作者: ZXD4G 时间: 2007-11-16 15:48
为保护大家的键盘——防湿，野风你最好过些日子换个头像，实在舍不得，以后再弄回来呗。

作者: 野风 时间: 2007-11-16 15:54

原帖由 ZXD4G 于 2007-11-16 15:48 发表
为保护大家的键盘——防湿，野风你最好过些日子换个头像，实在舍不得，以后再弄回来呗。

呵呵！等左盟主用头像时，我就换头像！

作者: ZXD4G 时间: 2007-11-16 15:57
再看两天吧，现在就换，大家还不答应呢。

作者: 野风 时间: 2007-11-16 16:01

原帖由 ZXD4G 于 2007-11-16 15:57 发表
再看两天吧，现在就换，大家还不答应呢。

不会吧？？

笑话？

作者: fengchun 时间: 2007-11-16 17:23
为啥下载清一词库一到800k 就出现server connection reset呢？

作者: 野风 时间: 2007-11-16 17:29

原帖由 fengchun 于 2007-11-16 17:23 发表
为啥下载清一词库一到800k 就出现server connection reset呢？

现在下的人比较多了！服务器连接有问题！我想上传个附件给你，可是附件大小超过了我的权限。有5兆多呢！

我只能上传512k的附件！

[ 本帖最后由野风于 2007-11-16 19:12 编辑 ]

作者: fengchun 时间: 2007-11-16 17:31
算啦，晚上再来吧，谢谢

作者: paulzane 时间: 2007-11-16 17:33
目前使用系统词库和用户词库，基本就可以了

作者: 野风 时间: 2007-11-16 17:37

原帖由 paulzane 于 2007-11-16 17:33 发表
目前使用系统词库和用户词库，基本就可以了

不错！这次系统词库优化得不错！基本可以满足日常需要了！呵呵！

作者: ZXD4G 时间: 2007-11-16 17:49
多谢各位的认可，咱绝不自满，一来早就认定这是个长期工程，不但约束自我朝乾夕惕，也想集众家之力，待仔细思考一下方式，再来切磋，二来这些天自己使用过程中，也发现漏了一些词(是咱语言过于丰富吗？

)，还好，有了词库更新，这些小规模修订，也有了有效的送达途径。

作者: 野风 时间: 2007-11-16 18:25

原帖由 ZXD4G 于 2007-11-16 17:49 发表
多谢各位的认可，咱绝不自满，一来早就认定这是个长期工程，不但约束自我朝乾夕惕，也想集众家之力，待仔细思考一下方式，再来切磋，二来这些天自己使用过程中，也发现漏了一些词(是咱语言过于丰富吗？ )，还好，有 ...

还请左盟主在系统词库小规模修订后，知会一声，我好升级词库（我把自动更新关了）！呵呵！先谢谢了！

作者: fengyu29 时间: 2007-11-16 18:41

原帖由 ZXD4G 于 2007-11-16 15:22 发表
也准备操作一轮，正要和风版协商。
先给清一弄了，是yaclear前几天就委托的了，只好委屈风版略微滞后一些了。

这两天弄新论坛,大家都很忙呢.就烦左总代劳了!从下载量来看,紫光词库完美优化版在网络上还是相当有影响力的.也是推广紫光的一大利器.一定要做好这个大词库的整理和优化工作.

作者: ZXD4G 时间: 2007-11-16 18:47
风版第五版词频优化几经竣工，几分钟后将出台...

作者: 野风 时间: 2007-11-16 19:11

原帖由 ZXD4G 于 2007-11-16 18:47 发表
风版第五版词频优化几经竣工，几分钟后将出台...

呵呵！动作好快啊！

作者: lelong 时间: 2007-11-16 19:15
怪不得，我觉得加加跟紫光有些相似。只是第一感觉。应该有某些关联。

这两个输入法流畅性都不错。

希望在进一步提高。打字行云流水。

作者: 野风 时间: 2007-11-16 19:17

原帖由 fengyu29 于 2007-11-16 18:41 发表

这两天弄新论坛,大家都很忙呢.就烦左总代劳了!从下载量来看,紫光词库完美优化版在网络上还是相当有影响力的.也是推广紫光的一大利器.一定要做好这个大词库的整理和优化工作.

不错！是相当有影响力的！

作者: ljdqe 时间: 2007-11-16 22:56

原帖由野风于 2007-11-16 14:44 发表

你是第二个夸我的头像漂亮的了！

不会才三个夸你靚的吧？

作者: 野风 时间: 2007-11-17 12:10

原帖由 ljdqe 于 2007-11-16 22:56 发表

不会才三个夸你靚的吧？

o(∩_∩)o 谢谢！

欢迎光临华宇拼音输入法论坛 (http://bbs.pinyin.thunisoft.com/)