谁说说新的系统词库和大词库、清一词库的比较

wwk51

V6正式版新的系统词库究竟完善的如何？还用不用装大词库或者清一词库？首选词库用装吗？大虾们说说看。

kingdick

新的系统词库只有清一词库的一半大小，估计去除了不少垃圾词汇。首选词库嘛，我自己是不用的。

ZXD4G

非常抱歉，疏忽了对新版词库变更有所交代了。

1.新版词库的主要目标——扩增内容，就说系统词库吧，在扩编的同时，还伴随着一些删减和分流到其它词库，工作方案繁多，简列几个：
1)多种词典，不枚举了
2)自造词组或短语，主要丰富”口语化“或”白话“用语，添加了”太*了“(“太酷了”之类)、”*性“(“能动性”之类)、“*度"(”休闲度“之类)、”*了个*“(”吃了个饭“、”打了个半死“之类)等等几十种模式的词
3)新词，2002/2007等年度词汇
4)删减内容：一些能够智能组出的词，被无情地删除，但也仍然保持了很多；删减还是保持的标准是什么，说实话，挺主观的，以后逐渐定型吧

2.风版大库和清一词库
长期耕耘的fengyu29，博采众家之长，打造了50多万条词，一度是紫光拼音输入法的唯一良伴，今亦发挥着巨大作用；清一词库是另一网友在fengyu29的授权下，以另外一种标准或思路来勘校、增删的结果，该网友平均每日投入3个小时左右，也是奉献十足，令人敬佩。作为规模”适量版“的上界和”豪华版“的下界，这两个库都是不错的。

3.首选词库
语文健者AhMan老兄的大作，其投入的精致不知造福了多少拼音用户。该库主要是从词条的拼音重码入手，以自己对汉语的高超驾驭与理解，把握首选词，苦力活儿是一一设置词条的词频数值，这番劳作下来，使得输入流畅程度大为改善。

借此，也来说说V6正式版的词频变化(也许，应该在一个更加显著的地方隆重说明)，记得B3发布时，登了一篇词频变化说明，那时，我们得到了一定规模的语料，从中挖掘词频，感觉相当有成就感。继而，一些有关首选命中率的探讨(这里，其实也得感谢拼音佳佳，它的拥趸”真拼音加加“以”独特“的方式促进了竞争的发展)，使我们认识到B3的词频不是那么权威，瑕疵遍地，也就成了缺陷，主要原因是语料加工过程少了一道工序——分词；于是，正式版推出之前，对语料进行了加工，先产生”熟语料“(不怕行家笑话，开发团队省悟到这一点，确有些晚了)，再来统计词频，这个活儿赶下来，也使得曾经想”近期发布“的正式版，又延期了一个月，抱歉得很(是否谦虚的我，常说抱歉呢？ )。昨日发布的正式版，词频是经过了分词优化的，所以有网友反映输入流畅感增加了，但我们清楚地知道，这个路还长，一定还有诸多不精之处，定将持续努力，至少，先得与AhMan大作的首选进行一些对比和分析，再来权衡之后版本的的词频。

[ 本帖最后由 ZXD4G 于 2007-11-16 12:57 编辑 ]

fengchun

怪不得谣言放出后又等了一个月

krsun

我感觉紫光的系统词库中已经部分的融入了风版和清一词库。另外我一直认为光靠一个人是无法维护和完善好词库的，相信紫光以后会更好的完善系统词库。目前已经只用系统词库和自己的用户词库了。

lionboy

原帖由 ZXD4G 于 2007-11-16 12:55 发表
非常抱歉，疏忽了对新版词库变更有所交代了。

1.新版词库的主要目标——扩增内容，就说系统词库吧，在扩编的同时，还伴随着一些删减和分流到其它词库，工作方案繁多，简列几个：
1)多种词典，不枚举了
2)自造词 ...

谢谢版主说明，顺便问下怎么不见清一词库的踪影了呢？

yaclear

就在今天下午发布清一词库的新版～

lionboy

原帖由 yaclear 于 2007-11-16 13:34 发表
就在今天下午发布清一词库的新版～

在什么地方发布？ 大约什么时候？

yaclear

原帖由 lionboy 于 2007-11-16 13:38 发表



在什么地方发布？ 大约什么时候？

下午晚些时候吧，会在官网的词库下载那里放，同时也会找个快点的网络空间存放。

lionboy

原帖由 yaclear 于 2007-11-16 13:46 发表


下午晚些时候吧，会在官网的词库下载那里放，同时也会找个快点的网络空间存放。

先在论坛传上来，大家爽爽

ZXD4G

此刻，正在对清一词库做分词＋统计词频＋置频，分词已于二十分钟前完成，统计中...，预计15:00或出头儿，能够发布。

lionboy

原帖由 ZXD4G 于 2007-11-16 13:55 发表
此刻，正在对清一词库做分词＋统计词频＋置频，分词已于二十分钟前完成，统计中...，预计15:00或出头儿，能够发布。

感谢大家的劳动，热烈期待

野风

我现在只用了系统词库，没有用大词库和清一词库。新版清一词库发布后，左盟主，你建议用哪一个较好？谢谢！

summer168

根据三楼的“交代”，我决定就用系统词库。

summer168

原帖由 野风 于 2007-11-16 14:26 发表
我现在只用了系统词库，没有用大词库和清一词库。新版清一词库发布后，左盟主，你建议用哪一个较好？谢谢！

你的头像很漂亮

野风

原帖由 summer168 于 2007-11-16 14:40 发表
根据三楼的“交代”，我决定就用系统词库。

168兄，我现在也在用系统词库，感觉很流畅，准确率也很高啊！o(∩_∩)o ！但新版清一词库发布后，我就拿不准了！

野风

原帖由 summer168 于 2007-11-16 14:41 发表


你的头像很漂亮

你是第二个夸我的头像漂亮的了！

lionboy

原帖由 ZXD4G 于 2007-11-16 13:55 发表
此刻，正在对清一词库做分词＋统计词频＋置频，分词已于二十分钟前完成，统计中...，预计15:00或出头儿，能够发布。

大板，3点出头了，发布了没啊？

ZXD4G

已经提交，也就是挪腾一下的时间了。

lionboy

原帖由 ZXD4G 于 2007-11-16 15:09 发表
已经提交，也就是挪腾一下的时间了。

哈哈哈，我抄家伙等着了

ZXD4G

不妥，发现论坛附件限制为4M，这个词库是5M多点儿，需改一下配置，请耐心再等几分钟。

lionboy

原帖由 ZXD4G 于 2007-11-16 15:13 发表
不妥，发现论坛附件限制为4M，这个词库是5M多点儿，需改一下配置，请耐心再等几分钟。

分包啊，老大

wwk51

原帖由 ZXD4G 于 2007-11-16 13:55 发表
此刻，正在对清一词库做分词＋统计词频＋置频，分词已于二十分钟前完成，统计中...，预计15:00或出头儿，能够发布。

那请问，现在主页上挂的风版大词库有没有经过分词＋统计词频＋置频呀，谢谢？
另外十分感谢版主对词库的解释，一如既往的支持紫光，现在也在用系统词库加自己的用户词库，没有挂大词库呢还，犹豫中。

野风

原帖由 lionboy 于 2007-11-16 15:11 发表



哈哈哈，我抄家伙等着了

小心！别把显示器砸了！

ZXD4G

也准备操作一轮，正要和风版协商。
先给清一弄了，是yaclear前几天就委托的了，只好委屈风版略微滞后一些了。

野风

原帖由 wwk51 于 2007-11-16 15:19 发表

那请问，现在主页上挂的风版大词库有没有经过分词＋统计词频＋置频呀，谢谢？
另外十分感谢版主对词库的解释，一如既往的支持紫光，现在也在用系统词库加自己的用户词库，没有挂大词库呢还，犹豫中。

为什么这个帖子的字没有同时上来？
大词库还没这么操作过！

[ 本帖最后由 野风 于 2007-11-16 15:25 编辑 ]

lionboy

还没传上来哦

ZXD4G

靓妞儿，嘴别往下撇呀，要像这样

lionboy

原帖由 ZXD4G 于 2007-11-16 15:25 发表
靓妞儿，嘴别往下撇呀，要像这样

版主好涩啊

野风

原帖由 ZXD4G 于 2007-11-16 15:25 发表
靓妞儿，嘴别往下撇呀，要像这样

左盟主，你总不能老是作“黑人”吧？

还有，我该用哪个词库啊？