|
|
本帖最后由 wangyanhan 于 2013-5-22 15:52 编辑
蓝天精确版小词库（测试版）
蓝天精确版小词库（测试版）说明
（一）“蓝天精确版小词库”出台緣由：
2013年5月11日，本人在网上觅到了一个商务印书馆出版的《现代汉语常用词表》。发现其中的词条注音很准确，便原汁原味套用原书的词条和词频，制作了一个开源“现代汉语常用词词库”，意图是作为词库辅料放出来共享，供网友们摘取其中所需。
谁知首次放出的“现代汉语常用词词库”出了一个大问题：即原书的次序（词频）是按降序排列的——即次序数越大，词频就越低。这种词频数，和华宇输入法的词频数完全相反。
5月20日，蓝天版主在测试中发现了这个词频错误。在蓝天版主指正和热心鞭策下，本人于5月21日将“现代汉语常用词词库”进行了纠错更新。
接着，蓝天版主又提出“词库缺少一些常用词”，建议扩充词条，使用官方系统词库的词频，将其改制成一个“完美的词库”。到此时我才明白了蓝天版主的意思：原来他不是用“词库辅料”的标准在看待这个“现代汉语常用词词库”，而是要求将其变成一个具有独立使用功能的精确版小词库。（蓝天版主的要求，和我的初衷不是一码子事啊呵呵！）
这个课题确实是让我作难了：①本人是一个意群短语输入派，从来不用100万以下的基础词库，因此对这个“精确版小词库”的制作，完全没有词条组合的实践经验和测试能力；②野风管理员的“野风系统词库”和“野风精确词库”，大受字词、双拼输入派欢迎，我查看了这两个词库中的词条，感到已经达到了极致精练程度，其词条和词频的安排也非常到位，堪称华宇词库精确版之绝唱。所以啊，自以为想在野风词库之外另起炉灶，再弄一个“超级精确版”，这并非易事。大有李白在《黄鹤楼》诗前曰：“眼前有景道不得，崔颢题诗在上头。”的心境。
但是，既然蓝天版主极力倡导，本人也就努力试试吧呵呵！
（二）“蓝天精确版小词库”的资料来源：
一是《现代汉语常用词表》中的全部复词词条；二是朔风飞扬“8万精准超小词库（张文焕词库除错版）加加词库中的全部词条；三是许传友“精确版词库”（加加格式）中的全部词条。合并去重后，计97000多条。
（三）词库格式：
按蓝天版主的要求，是制成“不可编辑”格式。但本人想了一下，这个词库，其实是很难独立使用的，如果非要独立使用，用户也需在此基础上进行大量扩充，如果制成了“不可编辑”格式，则非常不方便用户使用，因此就还是把它制成了开源格式。
词库中虽然套用了大量官方系统词库中的词频，但总数不到10万，不占官方系统词库词条的1/4 ,也不存在泄密问题。
蓝天精确版小词库（测试版）.zip
(1.01 MB, 下载次数: 9390)
|
|
发表于 2013-5-11 17:10:57
收藏
发表于 2013-5-21 07:06:02
楼主
