华宇拼音输入法论坛

 找回密码
 注册
搜索
热搜: 活动 交友 discuz
查看: 62228|回复: 57
打印 上一主题 下一主题

友情共享:《现代汉语常用词表》和“现代汉语常用词词库”

[复制链接]
跳转到指定楼层
1
发表于 2013-5-11 17:10:57 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
本帖最后由 wangyanhan 于 2013-5-21 08:21 编辑

友情共享现代汉语常用词词库(修改稿)和“现代汉语常用词词库”

这是我在网上觅到的《现代汉语常用词表》,并将其制成了开源的华宇词库,现一同放出来共享呵呵!

《现代汉语常用词表》,《现代汉语常用词表》课题组 编,商务印书馆出版社。《现代汉语常用词表(草案)》提出了现当代社会生活中比较稳定的、使用频率较高的汉语普通话常用词语56008个,形成《现代汉语常用词表(草案)》,给出了词语的词形。《现代汉语常用词表(草案)》的词语收录,既注意词语的系统性,又注意词语在语用中的实用性。


请参看百度百科_"现代汉语常用词表"词条
http://baike.baidu.com/view/6328845.htm

(一)《现代汉语常用词表》内容摘览:

《现代汉语常用词表》课题组 编
  商务印书馆出版社
词组 拼音 次序
——————————
阿爸 a1'ba4 18137
阿昌族 a1'chang1'zu2 50849
阿斗 a1'dou3 42632
阿飞 a1'fei1 48603
阿富汗 a1'fu4'han4 3461
阿訇 a1'hong1 34432
阿拉伯数字 a1'la1'bo2'shu4'zi4 35937http://bbs.pinyin.thunisoft.com/forum.php?mod=attachment&aid=MTIyODN8ODY1N2RiMGUyMWVjNTRkZDUyYTRkNjAwZTUyYTcyYjN8MTc2NjU4NTk1Mg%3D%3D&request=yes&_f=.rar
……

(二)“现代汉语常用词词库”说明:

在《现代汉语常用词表》一书中,原有3000多个单字。最初,本人将单字剔除后,就直接套用原书的汉语拼音和次序(词频),将其制成了“现代汉语常用词词库”。

昨晚(2013年5月20日),蓝天版主在测试中发现:原书的次序(词频)是按降序排列的——即次序数越大,词频就越低。这种词频数,和华宇输入法的词频数完全相反。

从昨晚到今早,我已将该词库的词频换成了官方系统词库的词频。约有1000个词条,官方系统词库中没有,则是用其它华宇词库词频替换的。希望已经下载使用该词库的60位网友,迅速更新。

在此,对蓝天版主的精心测试和及时指正,也表示衷心感谢呵呵!  

现代汉语常用词词库(修改稿).zip (1.64 MB, 下载次数: 11751)

58
发表于 2013-5-25 14:23:27 | 只看该作者
“蓝天迷你词库”原封不动照搬野风词库中的词条、注音、词频。
这个要作者之一的野风同意啊,我说了不算啊

点评

据我所知,官方系统词库、华宇大词库第六版和野风词库,词频都大致上差不多。戴老师的综合词库词频略微偏低……  发表于 2013-5-25 15:12
这可是个难题了呵呵!我估计这个词库的下载量不会很大,原因我在上个帖子中已经说了呵呵!  发表于 2013-5-25 14:27
57
 楼主| 发表于 2013-5-25 14:16:28 | 只看该作者
本帖最后由 wangyanhan 于 2013-5-25 14:56 编辑
紫光蓝天 发表于 2013-5-25 13:55
现在问题不是出在10万词可不可用上啊。
你看我几个晚上没睡觉找缺词,也找得差不多了。
但是现在遗留的问 ...


我诚心诚意的建议蓝天版主:

最好把您那“蓝天迷你词库”制作成可编辑的开源词库。

因为小于10万的词库,即使是字词派使用,也难以成为独立的综合词库(微软英库有云词库,但自带的系统词库也是30万呵呵)。用户可能要另配其它的综合词库,这就会形成接近100%的词条重叠。

如果您制成了可编辑的开源词库,用户则可以在您迷你词库的基础上,导入词条进行扩充,使之成为用户真正独立的综合词库。这样,迷你词库的下载量反而还会骤增。
56
发表于 2013-5-25 14:03:54 | 只看该作者
如果词频和多音字的读音都能保持和加加原词库一样,那这个词库用起来肯定没问题的。
55
发表于 2013-5-25 13:55:18 | 只看该作者
现在问题不是出在10万词可不可用上啊。
你看我几个晚上没睡觉找缺词,也找得差不多了。
但是现在遗留的问题是词频和多音字的技术问题。
54
发表于 2013-5-25 13:34:15 | 只看该作者
老王大师,你继续弄这个10万条我并不反对,但我怕你太累啊。
如果你真想修改,主要还是多音字的读音和词频问题。
就举一个例子吧:zhebian打出来的是“着边”“这边”

点评

蓝天版主:从最初开始,我就没有自己发布超级精确版词库的打算,全是帮您蓝天版主弄的呵呵! 我真的怀疑不到10万的词库,能成为独立的基础词库呵呵!  发表于 2013-5-25 13:52
53
发表于 2013-5-25 13:33:35 | 只看该作者
我觉得这也不妨碍你老王兄自行将这个词库作为正式版发布啊!
这也是给广大网友多一种选择啊!我是这样觉得的。

点评

从“蓝天精确版小词库”炮制之初,我就是在按蓝天版主的意图作业,初衷也是由蓝天版主发布。既然蓝天版主不愿发布他的这个“蓝天精确版小词库”,就让它夭折吧!唯一留下的就是一个印记呵呵!  发表于 2013-5-25 13:41
52
 楼主| 发表于 2013-5-25 13:18:32 | 只看该作者
本帖最后由 wangyanhan 于 2013-5-25 13:22 编辑
野风 发表于 2013-5-25 10:27
老王兄,这个词库,我想还是麻烦老兄单独发一个帖子吧!现在酒香害怕巷子深呢!
这么一个词库文件,深藏 ...


回陈兄管座:

没有这个必要啊呵呵!本来是每一步都应蓝天版主的指示和要求,增删四次,帮蓝天版主他弄的这个“蓝天精确版小词库”,并在46楼焦心等待他审核修改后,作为正式版专帖发布的。

谁知蓝天版主从昨天(2013年5月24日)11时45分,在45楼指示我从“宏碁、计提、价差、赔率、却只、行权 ”几个词里选两个拼凑10万后,就从此不在这个帖子留只字片言了。

到今天我才明白,原来是蓝天版主另出了新招。其实另出新招也是无所谓,但应该在这个帖子里打声招呼,中断我们的合作关系啊!这么一来!“蓝天精确版小词库”就如此嘎然中止,不成了无句号的断尾蜻蜓吗?呵呵!
51
发表于 2013-5-25 11:22:24 | 只看该作者
进来支持了!
50
发表于 2013-5-25 10:27:39 | 只看该作者
wangyanhan 发表于 2013-5-24 13:38
蓝天版主:

把您给的6个词条全都加进去了,现在“蓝天精确版小词库(测试四版)”的词条数是100004。 ...

老王兄,这个词库,我想还是麻烦老兄单独发一个帖子吧!现在酒香害怕巷子深呢!
这么一个词库文件,深藏在这个帖子中,很容易被忽略的……
49
发表于 2013-5-25 07:04:46 | 只看该作者
下载,使用。
48
发表于 2013-5-24 21:01:06 | 只看该作者
野风 发表于 2013-5-24 14:34
好啊!

应该尽快另开一个新帖了……我觉得!

点评

这可需蓝天版主动驾啊,可蓝天版主似乎今天又泡小三了呵呵!  发表于 2013-5-24 21:18
47
发表于 2013-5-24 14:34:39 | 只看该作者
wangyanhan 发表于 2013-5-24 13:38
蓝天版主:

把您给的6个词条全都加进去了,现在“蓝天精确版小词库(测试四版)”的词条数是100004。
...

好啊!

点评

陈兄管座:这全是在给蓝天版主了却一个心愿,炮制一个“超级精确版”呵呵!  发表于 2013-5-24 15:16
46
 楼主| 发表于 2013-5-24 13:38:37 | 只看该作者
本帖最后由 wangyanhan 于 2013-5-24 16:13 编辑
紫光蓝天 发表于 2013-5-24 11:45
老王大师,如果不够十万条,你从这几个词里选两个吧

宏碁


蓝天版主:

把您给的6个词条全都加进去了,现在“蓝天精确版小词库(测试四版)”的词条数是100004。

您审核修改后,如果觉得可以作为正式版发布了,就另外发专帖发布吧呵呵!

蓝天精确版小词库(测试四版).rar (945.07 KB, 下载次数: 2091)

蓝天版主还有一件事:
我查了一下官方系统词库的“宏碁”,是把 ji  、qi  的双重注音都保留了的,但我只用了 qi  。如果您觉得有必要,就把下面的词条也导进去吧呵呵!

宏碁 hong'ji 15345
45
发表于 2013-5-24 11:45:05 | 只看该作者
老王大师,如果不够十万条,你从这几个词里选两个吧

宏碁
计提
价差
赔率
却只
行权
44
 楼主| 发表于 2013-5-24 09:46:35 | 只看该作者
紫光蓝天 发表于 2013-5-24 03:38
老王大师辛苦了,现在词库是99846条,我再补充154条,凑足10万整吧

八九

蓝天版主:

在您列出的154条中,估计有两个词条“测试版三”中存在,只能导进99998条。

您再多给几个词条吧^_^
43
发表于 2013-5-24 03:38:17 | 只看该作者
本帖最后由 紫光蓝天 于 2013-5-24 05:25 编辑

老王大师辛苦了,现在词库是99846条,我再补充154条,凑足10万整吧

八九
八人
八种
百亿
包在
报收
不占
笨猪
逼空
超买
超卖
潮汕
冲高
创出
辞掉
此番
呆着
淡定
店长
跌去
都为
读懂
飞回
该去
改完
更美
购入
好美
好悬
喝下
很能
很热
画上
汇市
或用
汉日
极低
极快
寄出
记入
检出
建安
建于
将比
讲到
讲起
结下
竟能
竟要
九点
九分
九人
九种
就与
均线
军演
看下
可有
孔孟
亏钱
老庄
留点
六七
六种
卖到
没到
没改
没敢
美丑
末位
哪次
哪家
哪篇
那间
哪间
那片
那日
那座
牛逼
排成
抛了
飘来
飘在
七点
七分
七人
七种
骑上
秦汉
去见
群友
热得
仍可
如因
入市
入驻
日汉
三流
商报
商朝
上攻
尚无
十点
十人
十种
市况
收银
睡到
四分
虽已
她家
坛友
上期
跳空
填权
听错
退房
玩到
吸筹
新进
下期
夏朝
小桥
小三
也够
也请
也向
也由
一成
因其
阴跌
赢球
又为
愿景
运程
再没
再以
早前
则将
则应
则由
这片
这要
争当
整固
正为
正像
之理
只够
真热
周线
主卧
装入
装在

点评

蓝天版主好的^_^  发表于 2013-5-24 09:00
42
 楼主| 发表于 2013-5-23 22:47:31 | 只看该作者
本帖最后由 wangyanhan 于 2013-5-23 22:49 编辑

蓝天精确版小词库(测试三版)

剔除了(测试二版)中的两百多个容错注音。词条数:99846

蓝天精确版小词库(测试三版).rar (944.07 KB, 下载次数: 1991)

【保留双重注音的词条】
(计79条)
阿房宫
必得
标识
层见叠出
长大
长了
长尾巴
长在
朝阳
澄清
大都
大换血
大王
单行
调到
调配
都会
放血
给谁
跟谁
怪谁
还给
还给我
看谁
空调
零增长
鹿死谁手
明朝
让谁
山大王
杉树
上调
上色
是谁
谁不
谁的
谁都
谁对
谁敢
谁会
谁家
谁叫
谁看
谁来
谁料
谁能
谁怕谁
谁让
谁是
谁说
谁想
谁信
谁呀
谁要
谁也
谁有
谁与
说客
所长
同行
外传
为谁
相称
向谁
新著
一宿
一行
有谁
怨谁
咱家
攒钱
怎么着
增长
找谁
重读
重犯
琢磨
总长
最长

41
发表于 2013-5-23 14:06:24 | 只看该作者
紫光蓝天 发表于 2013-5-23 13:50
野风大师从上海发来贺电

40
发表于 2013-5-23 13:50:13 | 只看该作者
野风大师从上海发来贺电
39
发表于 2013-5-23 13:46:24 | 只看该作者
wangyanhan 发表于 2013-5-23 09:21
蓝天精确版小词库(测试二版)发布

“ 蓝天精确版小词库(测试版)” 发布后,经蓝天版主及上10名 ...

祝贺!热烈祝贺!
38
发表于 2013-5-23 13:45:05 | 只看该作者
可以用制作固顶词库的方法得到注音
37
发表于 2013-5-23 13:19:34 | 只看该作者
这个你怎么弄都行啊,要是我就会只保留e'fang'gong这个读音

点评

阿房宫如果不保留e'pang'gong的注音,专业一点的人士会笑话的呵呵!  发表于 2013-5-24 23:10
36
 楼主| 发表于 2013-5-23 11:45:09 | 只看该作者
紫光蓝天 发表于 2013-5-23 11:26
对,不用重新弄,就在这个基础上改改就挺好了

还有一个问题:

譬如“阿房宫”有两个注音:
阿房宫 e'fang'gong   阿房宫 e'pang'gong

正确的读音应该是:阿房宫 e'pang'gong

但台湾《国语辞典》的注音也错了。估计多数辞书的注音也是e'fang'gong ,大多数用户也读 e'fang'gong 。像这种词条,要不要保留容错注音呢? 我的意思是保留容错注音,您说呢呵呵!

35
发表于 2013-5-23 11:26:44 | 只看该作者
对,不用重新弄,就在这个基础上改改就挺好了
34
发表于 2013-5-23 11:08:41 | 只看该作者
是啊,这些词您就一律按8万词库的注音弄,简单、准确

点评

还有,蓝天版主可能不知道这种情况:加加词条如果使用的是多音字默认读音,加加也是不注音的,这样在转换时,华宇就会给出多种读音了。  发表于 2013-5-23 13:20
就在这个基础上改简单,重新弄很啰嗦的呵呵!  发表于 2013-5-23 11:20
33
发表于 2013-5-23 10:58:25 | 只看该作者
这些错误的读音都发生在现代汉语常用词库上
不如这些词都按那个8万词库的注音来弄

点评

就在这个基础上改简单,重新弄更难些^_^  发表于 2013-5-23 11:06
32
发表于 2013-5-23 10:52:31 | 只看该作者
老王大师,既然您都找出来了,那我就不弄了,您改完后,再发一下吧。
“谁”的两种读音都保留吧。
“朝阳”zhaoyang、chaoyang两个读音都是词的情况也都保留吧。
估计工作量也不大,您就辛苦一下吧

点评

是的,朝阳——zhao是早晨的太阳,名词、chao是动词和地名。  发表于 2013-5-23 11:11
好的,就两天吧呵呵!  发表于 2013-5-23 11:04
31
 楼主| 发表于 2013-5-23 10:34:46 | 只看该作者
本帖最后由 wangyanhan 于 2013-5-23 10:48 编辑
紫光蓝天 发表于 2013-5-23 10:20
但是错误的注音如果占据位置,系统在那个位置上就不能自动组词。
特别是如果词库里有同音词存在,会增加重 ...

估计有310个容错注音词条,但不全是。譬如——总长、最长中的:zhong ,chang 就是要都保留的呵呵!

阿房宫
八竿子打不着
扒车
扒开
罢了
柏拉图
班长
绑扎
包扎
本色
必得
闭门造车
变色
标识
别无长物
剥蚀
薄膜
不觉
不了
不甚了了
不亦乐乎
不着边际
部长
参谋长
苍劲
藏胞
藏红花
藏头露尾
藏文
测度
层见叠出
长大
长脸
长了
长女
长尾巴
长兄
长兄为父
长幼
长在
超薄
朝阳
成都
澄清
吃拿卡要
吃一堑长一智
出乖露丑
出圈
出头露面
出血
处长
穿着
村长
打的
打工仔
大伯
大都
大换血
大模大样
大王
单鹄寡凫
单行
箪食瓢饮
弹钢琴
弹琴
得空
得了
得人
的哥
的姐
点着
调到
调干
调配
调色板
调休
掉色
都得
都会
队长
顿觉
反扒
反弹
放血
非得
分行
附着
刚劲
戆直
各行各业
给谁
跟谁
功不可没
够不着
够得着
古刹
鹄形鸠面
故地重游
呱呱落地
怪谁
官了
馆长
管乐
龟裂
鬼蜮伎俩
含情脉脉
红参
还贷
还得
还给
还给我
还乡
还治其人之身
换血
会长
机长
疾风劲草
疾风知劲草
加德满都
柬埔寨
见长
降将
交恶
角斗
脚爪
结扎
解甲归田
劲风
劲歌
劲升
劲头
惊觉
靓妆
咖啡
开户行
看谁
可得
空调
口角
库藏
捆扎
乐感
乐手
里弄
零增长
咯血
露出
鹿死谁手
率部
落子无悔
毛呢
没收
明朝
摸不着头脑
摩挲
年长
尿血
牛仔
弄堂
拍卖行
拍胸脯
排行榜
迫降
蹊径
千金散尽还复来
情未了
躯壳
确凿
让谁
如履薄冰
乳臭未干
软着陆
三百六十行
杀人不见血
歃血为盟
山大王
杉树
上调
上色
设卡
审判长
审校
世代相传
是谁
谁不
谁的
谁都
谁对
谁敢
谁会
谁家
谁叫
谁看
谁来
谁料
谁能
谁怕谁
谁让
谁是
谁说
谁想
谁信
谁呀
谁要
谁也
谁有
谁与
睡着
说客
送还
所长
索还
太子参
袒胸露臂
同行
铜臭
痛恶
图穷匕首见
吐血
兔起鹘落
褪色
拖沓
脱壳
外传
完了
网上银行
忘不了
为谁
未了情
西藏
细嚼慢咽
瑕瑜互见
下地
下咽
下自成蹊
弦乐
显山露水
县长
乡长
相称
向谁
削铁如泥
校验
挟天子以令诸侯
新著
行成于思
颜色
验血
羊圈
也得
野山参
一滴血
一个萝卜一个坑
一宿
一行
一针见血
夷为平地
以其人之道还治其人之身
音乐电视
营长
硬着陆
有谁
又得
淤血
瑜伽
羽扇纶巾
怨谁
院长
熨烫
杂沓
咱家
攒钱
怎么着
增长
咋办
喳喳
轧账
站长
找不着北
找谁
这么着
镇长
正传
支行
吱吱喳喳
中的
重读
重返
重犯
重建
重聚
重庆
重提
重温
重现
重振
重整
州长
猪圈
著书
著文
抓差
拙著
捉襟见肘
琢磨
总长
总行
组长
最长
作乐
30
发表于 2013-5-23 10:20:21 | 只看该作者
但是错误的注音如果占据位置,系统在那个位置上就不能自动组词。
特别是如果词库里有同音词存在,会增加重码:
比如:zhuquan  主权  猪圈  助拳
您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|手机版|Archiver|华宇拼音输入法网站  

GMT+8, 2025-12-24 22:19

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表