汉语大词典光盘版3.0及提取工具

tsiank · 发表于 2016-5-13 11:40:31

gnoweb 发表于 2016-5-13 10:18$ N4 ?/ B0 r9 H
1、修改 makefile （参考图片，修改成自己的 python 相关路径）
, E2 s& ]) m7 C$ j3 R9 [0 T/ E5 J
* Q- x/ [6 }+ Z6 s+ p/ X/ h5 L2、CMD 工作目录切换到代码所在目录，使 ...

高手出现，膜拜！我说怎么运行不了，，原来还要再编译。我现在又回到笨办法用按键精灵了。要循环一万四千多次，估计要三时多个小时。这些我先记下来稍后研究。

coolsummer · 发表于 2016-5-13 11:49:29

tsiank 发表于 2016-5-13 11:32; J/ r) s9 p8 T
还是自己先弄吧，自己做出来的字典可以自己做主，好的词典重复劳作的多了。我现在正用按键精灵处理呢，看 ...

WFG 大的法子避开了解码资料库，直接取得光盘画面呈现的 HTML，应该最不会有资料错漏的问题。祝 tsiank 大 --- 顺利成功！

tsiank · 发表于 2016-5-13 12:18:29

wawxing 发表于 2016-5-13 07:58" M, @" d' h( q1 @
在虚拟机中按键精灵。就能做其他事情了。

电脑装不了虚拟机

chigre3 · 发表于 2016-5-13 17:57:43

gnoweb 直接给出了方法可以试试！！

chigre3 · 发表于 2016-5-13 18:08:16

看了下blog 看来原始光盘数据问题也有很多啊

chigre3 · 发表于 2016-5-13 18:17:55

看了下blog 提到了很多光盘原始数据的问题

tsiank · 发表于 2016-5-14 01:11:21

chigre3 发表于 2016-5-13 17:57
5 t9 I! `2 y! K! r! w- sgnoweb 直接给出了方法可以试试！！

編譯時出現underfined referience to的錯誤，查了下，不明所以，現在用按鍵精靈以保存了四千多個字頭，還有九千多個就完成了

tsiank · 发表于 2016-5-14 01:12:51

chigre3 发表于 2016-5-13 18:17
# D; e- D& d: I( A5 j8 t看了下blog 提到了很多光盘原始数据的问题

總比現有的文字版好些吧。

tsiank · 发表于 2016-5-15 21:01:43

coolsummer 发表于 2016-5-13 11:49/ {& Z/ s% v# U9 w0 q# J
WFG 大的法子避开了解码资料库，直接取得光盘画面呈现的 HTML，应该最不会有资料错漏的问题。祝 tsiank ...

初步完成，剩下的就是代码优化与排版的问题了。

coolsummer · 发表于 2016-5-16 10:04:10

tsiank 发表于 2016-5-15 21:017 ]) W/ N2 P7 e4 Q
初步完成，剩下的就是代码优化与排版的问题了。

tsiank大效率真高，又一部好辞典即将完成，恭喜贺喜！

chigre3 · 发表于 2016-5-16 17:43:08

tsiank 发表于 2016-5-15 21:01
& g; q8 k% [7 Y5 p: H初步完成，剩下的就是代码优化与排版的问题了。

这样也好可以对照blog说的数据条目数量对比一下

tsiank · 发表于 2016-5-16 18:06:23

chigre3 发表于 2016-5-16 17:43
& M# p. d' S& y7 p4 s" C" b* v# W这样也好可以对照blog说的数据条目数量对比一下

18,014 個漢字字頭+336,706 條複詞，總共354720條，不多也不少。
另外，光盤裏面的hd3dbs.mdb這個文件裏面就有所有的字頭和詞頭，網上的工具就能得到這數據庫的密碼。我就是用裏面的18,014 個字頭（扣除重複後共有13069個）用按鍵精靈循環13069次得到全部數據的。

liuyunrushui · 发表于 2016-5-16 20:23:46

大大太牛了！一开始钻研就停不下来呀！

gnoweb · 发表于 2016-5-17 16:07:14

又测试了一下，以 tsiank 提供的代码为基础，略作修改，能够完整提取 18014 个字目：

合并重复字目，取出词目后，总计 349775 个繁体条目（13069 + 336706）：

因此目前两种方法都是可行的。有意者可自行尝试这两种方法。

coolsummer · 发表于 2016-5-17 16:41:41

将tsiank大、gnoweb大贴出的撷取画面与WFG大的部落格相比对，两位的撷取似乎都没有部首、笔画、页码等资讯，WFG大的撷取则有，截图供各位参考。

liuyunrushui · 发表于 2016-5-17 17:05:01

epwing的劣势就在于外字的处理以及色彩修饰，看到大大们的排版，赏心悦目！

chigre3 · 发表于 2016-5-17 17:35:45

换个字体一下子就古朴典雅了

gnoweb · 发表于 2016-5-17 23:03:32

coolsummer 发表于 2016-5-17 16:414 ]+ Q: R& v, u) `5 c1 v
将tsiank大、gnoweb大贴出的撷取画面与WFG大的部落格相比对，两位的撷取似乎都没有部首、笔画、页码等资讯 ...

已修正。

tsiank · 发表于 2016-5-18 01:54:11

gnoweb 发表于 2016-5-17 16:070 e( r8 P$ n6 e8 `; P& P* p. H; v
又测试了一下，以 tsiank 提供的代码为基础，略作修改，能够完整提取 18014 个字目：

你这个才100多兆，我用按键精灵弄下来的文本都500多兆了。而且按键精灵提取的，有一百零几个词条竟然没有释义。这是原光盘版按字查询时的bug，按词查询却没问题，真是怪了。看了一下你的版本，用工具提取的也没这个问题。

tsiank · 发表于 2016-5-18 01:56:25

coolsummer 发表于 2016-5-17 16:41
- {, k' }0 V- a+ C将tsiank大、gnoweb大贴出的撷取画面与WFG大的部落格相比对，两位的撷取似乎都没有部首、笔画、页码等资讯 ...

部首笔画这些没有必要。页码只有字头有，词头并没有。把词条页码整合进去才好。

tsiank · 发表于 2016-5-18 01:57:48

liuyunrushui 发表于 2016-5-17 17:05' J* d1 [$ L! I, }9 N' a
epwing的劣势就在于外字的处理以及色彩修饰，看到大大们的排版，赏心悦目！

EPWING的我下载安装加载词典后看到那种界面排版就不想用了。

coolsummer · 发表于 2016-5-18 11:05:43

tsiank 发表于 2016-5-18 01:54
6 g; k4 H1 W0 V }, }: s你这个才100多兆，我用按键精灵弄下来的文本都500多兆了。而且按键精灵提取的，有一百零几个词条竟然没有 ...

经我向WFG大求证，确实有此问题，必须手动再修补。所以目前看来，似乎还是gnoweb大修改后的撷取法较优，一次到位，没有遗漏。

gnoweb · 发表于 2016-5-18 12:06:09

部首笔画页码编码纯文本数据

字;总笔画;部首;首外笔画;非标准部首;非标准部首外笔画;Unicode16bit;GBK;BIG5;卷及页面

这个总笔画与剩余笔画数据，不太准确，比如“還”这个字，光盘给的是总18画，首外14画。

可以使用 CSS 隐藏掉不需要的信息块。或者隐藏掉整个 INFO 块。

coolsummer · 发表于 2016-5-18 15:35:57

与WFG大讨论时，WFG大又指出一项差异，gnoweb大的撷取似乎还是漏失了一些讯息，见图：

上图是WFG版的 "于" 字(为省篇幅，略经删减)，中图是WFG版的 "于咨" 一词，下图为gnoweb版的 "于咨" 一词，红圈处就是差异所在。这些编号标示了该字于此复词中的读音如何，算是一项重要的资讯。例如在此例中，"于咨" 的 "于" 字，应该读 xū 而不读 yú。以上资讯提供给各位参考。

coolsummer · 发表于 2016-5-18 15:45:05

另再补充，若将复词的相同词头亦做合并，据WFG大的统计，单字数目：13069、复词数目：333625、词条总数：346694。提供给各位检核。

		自动登录	找回密码
密码			免费注册

[工具] 汉语大词典光盘版3.0及提取工具

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源