汉语大词典光盘版3.0及提取工具

tsiank · 发表于 2016-5-13 11:40:31

gnoweb 发表于 2016-5-13 10:18. n0 |' o% I$ L, Y5 t$ E9 M) `
1、修改 makefile （参考图片，修改成自己的 python 相关路径）9 `% u1 O2 u. s+ n9 u: E" W( h
# q- z) S( `$ f4 `* O0 G) {
2、CMD 工作目录切换到代码所在目录，使 ...

高手出现，膜拜！我说怎么运行不了，，原来还要再编译。我现在又回到笨办法用按键精灵了。要循环一万四千多次，估计要三时多个小时。这些我先记下来稍后研究。

coolsummer · 发表于 2016-5-13 11:49:29

tsiank 发表于 2016-5-13 11:32
# x; s) M2 s1 C) {还是自己先弄吧，自己做出来的字典可以自己做主，好的词典重复劳作的多了。我现在正用按键精灵处理呢，看 ...

WFG 大的法子避开了解码资料库，直接取得光盘画面呈现的 HTML，应该最不会有资料错漏的问题。祝 tsiank 大 --- 顺利成功！

tsiank · 发表于 2016-5-13 12:18:29

wawxing 发表于 2016-5-13 07:58
! C5 {0 f8 d9 f' ^% Z+ C' V. {在虚拟机中按键精灵。就能做其他事情了。

电脑装不了虚拟机

chigre3 · 发表于 2016-5-13 17:57:43

gnoweb 直接给出了方法可以试试！！

chigre3 · 发表于 2016-5-13 18:08:16

看了下blog 看来原始光盘数据问题也有很多啊

chigre3 · 发表于 2016-5-13 18:17:55

看了下blog 提到了很多光盘原始数据的问题

tsiank · 发表于 2016-5-14 01:11:21

chigre3 发表于 2016-5-13 17:57
+ z8 b- @$ n% i3 P0 |# G- V2 ?gnoweb 直接给出了方法可以试试！！

編譯時出現underfined referience to的錯誤，查了下，不明所以，現在用按鍵精靈以保存了四千多個字頭，還有九千多個就完成了

tsiank · 发表于 2016-5-14 01:12:51

chigre3 发表于 2016-5-13 18:17- l. \$ R# I: `7 r/ h7 X, j
看了下blog 提到了很多光盘原始数据的问题

總比現有的文字版好些吧。

tsiank · 发表于 2016-5-15 21:01:43

coolsummer 发表于 2016-5-13 11:49
* n) E' {" y% o% X- dWFG 大的法子避开了解码资料库，直接取得光盘画面呈现的 HTML，应该最不会有资料错漏的问题。祝 tsiank ...

初步完成，剩下的就是代码优化与排版的问题了。

coolsummer · 发表于 2016-5-16 10:04:10

tsiank 发表于 2016-5-15 21:01: X% ?' Q, M3 E1 w r
初步完成，剩下的就是代码优化与排版的问题了。

tsiank大效率真高，又一部好辞典即将完成，恭喜贺喜！

chigre3 · 发表于 2016-5-16 17:43:08

tsiank 发表于 2016-5-15 21:01
4 w0 P7 I. l0 C" C: f' _ k* F初步完成，剩下的就是代码优化与排版的问题了。

这样也好可以对照blog说的数据条目数量对比一下

tsiank · 发表于 2016-5-16 18:06:23

chigre3 发表于 2016-5-16 17:435 E" L# f* p. ?, H2 h9 l
这样也好可以对照blog说的数据条目数量对比一下

18,014 個漢字字頭+336,706 條複詞，總共354720條，不多也不少。
另外，光盤裏面的hd3dbs.mdb這個文件裏面就有所有的字頭和詞頭，網上的工具就能得到這數據庫的密碼。我就是用裏面的18,014 個字頭（扣除重複後共有13069個）用按鍵精靈循環13069次得到全部數據的。

liuyunrushui · 发表于 2016-5-16 20:23:46

大大太牛了！一开始钻研就停不下来呀！

gnoweb · 发表于 2016-5-17 16:07:14

又测试了一下，以 tsiank 提供的代码为基础，略作修改，能够完整提取 18014 个字目：

合并重复字目，取出词目后，总计 349775 个繁体条目（13069 + 336706）：

因此目前两种方法都是可行的。有意者可自行尝试这两种方法。

coolsummer · 发表于 2016-5-17 16:41:41

将tsiank大、gnoweb大贴出的撷取画面与WFG大的部落格相比对，两位的撷取似乎都没有部首、笔画、页码等资讯，WFG大的撷取则有，截图供各位参考。

liuyunrushui · 发表于 2016-5-17 17:05:01

epwing的劣势就在于外字的处理以及色彩修饰，看到大大们的排版，赏心悦目！

chigre3 · 发表于 2016-5-17 17:35:45

换个字体一下子就古朴典雅了

gnoweb · 发表于 2016-5-17 23:03:32

coolsummer 发表于 2016-5-17 16:41
1 z3 s+ y6 Y, f$ l& ~1 n4 I将tsiank大、gnoweb大贴出的撷取画面与WFG大的部落格相比对，两位的撷取似乎都没有部首、笔画、页码等资讯 ...

已修正。

tsiank · 发表于 2016-5-18 01:54:11

gnoweb 发表于 2016-5-17 16:070 e1 S6 c; H" Q8 u. O
又测试了一下，以 tsiank 提供的代码为基础，略作修改，能够完整提取 18014 个字目：

你这个才100多兆，我用按键精灵弄下来的文本都500多兆了。而且按键精灵提取的，有一百零几个词条竟然没有释义。这是原光盘版按字查询时的bug，按词查询却没问题，真是怪了。看了一下你的版本，用工具提取的也没这个问题。

tsiank · 发表于 2016-5-18 01:56:25

coolsummer 发表于 2016-5-17 16:41
& S' Y9 n2 _, A, g9 U) c将tsiank大、gnoweb大贴出的撷取画面与WFG大的部落格相比对，两位的撷取似乎都没有部首、笔画、页码等资讯 ...

部首笔画这些没有必要。页码只有字头有，词头并没有。把词条页码整合进去才好。

tsiank · 发表于 2016-5-18 01:57:48

liuyunrushui 发表于 2016-5-17 17:05
5 A/ J# S% q, {epwing的劣势就在于外字的处理以及色彩修饰，看到大大们的排版，赏心悦目！

EPWING的我下载安装加载词典后看到那种界面排版就不想用了。

coolsummer · 发表于 2016-5-18 11:05:43

tsiank 发表于 2016-5-18 01:54) l: a1 }( \% r4 O: z2 L
你这个才100多兆，我用按键精灵弄下来的文本都500多兆了。而且按键精灵提取的，有一百零几个词条竟然没有 ...

经我向WFG大求证，确实有此问题，必须手动再修补。所以目前看来，似乎还是gnoweb大修改后的撷取法较优，一次到位，没有遗漏。

gnoweb · 发表于 2016-5-18 12:06:09

部首笔画页码编码纯文本数据

字;总笔画;部首;首外笔画;非标准部首;非标准部首外笔画;Unicode16bit;GBK;BIG5;卷及页面

这个总笔画与剩余笔画数据，不太准确，比如“還”这个字，光盘给的是总18画，首外14画。

可以使用 CSS 隐藏掉不需要的信息块。或者隐藏掉整个 INFO 块。

coolsummer · 发表于 2016-5-18 15:35:57

与WFG大讨论时，WFG大又指出一项差异，gnoweb大的撷取似乎还是漏失了一些讯息，见图：

上图是WFG版的 "于" 字(为省篇幅，略经删减)，中图是WFG版的 "于咨" 一词，下图为gnoweb版的 "于咨" 一词，红圈处就是差异所在。这些编号标示了该字于此复词中的读音如何，算是一项重要的资讯。例如在此例中，"于咨" 的 "于" 字，应该读 xū 而不读 yú。以上资讯提供给各位参考。

coolsummer · 发表于 2016-5-18 15:45:05

另再补充，若将复词的相同词头亦做合并，据WFG大的统计，单字数目：13069、复词数目：333625、词条总数：346694。提供给各位检核。

		自动登录	找回密码
密码			免费注册

[工具] 汉语大词典光盘版3.0及提取工具

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源