汉语大词典光盘版3.0及提取工具

tsiank

gnoweb 发表于 2016-5-13 10:18
1、修改 makefile （参考图片，修改成自己的 python 相关路径）
7 C1 u% E$ O: K1 x6 E/ S, a1 u* u
! ]3 Z. z2 {: P" e0 ~; m2、CMD 工作目录切换到代码所在目录，使 ...

高手出现，膜拜！我说怎么运行不了，，原来还要再编译。我现在又回到笨办法用按键精灵了。要循环一万四千多次，估计要三时多个小时。这些我先记下来稍后研究。

coolsummer

tsiank 发表于 2016-5-13 11:32
还是自己先弄吧，自己做出来的字典可以自己做主，好的词典重复劳作的多了。我现在正用按键精灵处理呢，看 ...

WFG 大的法子避开了解码资料库，直接取得光盘画面呈现的 HTML，应该最不会有资料错漏的问题。祝 tsiank 大 --- 顺利成功！

tsiank

wawxing 发表于 2016-5-13 07:58
在虚拟机中按键精灵。就能做其他事情了。

* D2 J3 P6 o+ ^) B, o2 }! x( s电脑装不了虚拟机

chigre3

gnoweb 直接给出了方法 可以试试！！

chigre3

看了下blog 看来原始光盘数据问题也有很多啊

chigre3

看了下blog 提到了很多光盘原始数据的问题

tsiank

chigre3 发表于 2016-5-13 17:57
gnoweb 直接给出了方法 可以试试！！

; b  N" g6 L& s1 Q編譯時出現underfined referience to的錯誤，查了下，不明所以，現在用按鍵精靈以保存了四千多個字頭，還有九千多個就完成了

tsiank

chigre3 发表于 2016-5-13 18:17
1 u8 V1 Q7 i& t) [& b9 u看了下blog 提到了很多光盘原始数据的问题

總比現有的文字版好些吧。

tsiank

coolsummer 发表于 2016-5-13 11:49
1 B  G1 h' I7 D; v- ^4 C! kWFG 大的法子避开了解码资料库，直接取得光盘画面呈现的 HTML，应该最不会有资料错漏的问题。祝 tsiank  ...

2 K- ]2 T4 q- r3 `1 G$ A! C初步完成，剩下的就是代码优化与排版的问题了。
8 }6 M' c: \* w$ t/ j* h

coolsummer

tsiank 发表于 2016-5-15 21:01
0 W8 k0 L, y# n, d& z# \4 `初步完成，剩下的就是代码优化与排版的问题了。

. k* B4 C6 B4 B/ p' `tsiank大效率真高，又一部好辞典即将完成，恭喜贺喜！

chigre3

tsiank 发表于 2016-5-15 21:01
$ a" _: t. ~+ n" @7 J4 q7 q" Y初步完成，剩下的就是代码优化与排版的问题了。

这样也好 可以对照blog说的数据条目数量对比一下

tsiank

chigre3 发表于 2016-5-16 17:43
这样也好 可以对照blog说的数据条目数量对比一下

6 F; `) F& ?: L* ?& }4 a, S 18,014 個漢字字頭+336,706 條複詞，總共354720條，不多也不少。
另外，光盤裏面的hd3dbs.mdb這個文件裏面就有所有的字頭和詞頭，網上的工具就能得到這數據庫的密碼。我就是用裏面的18,014 個字頭（扣除重複後共有13069個）用按鍵精靈循環13069次得到全部數據的。

liuyunrushui

大大太牛了！一开始钻研就停不下来呀！

gnoweb

又测试了一下，以 tsiank 提供的代码为基础，略作修改，能够完整提取 18014 个字目：
% B- Y& U7 d, x: R% W6 u8 K
# G+ f5 S6 p1 a+ u# P
/ p6 L  G; j9 _$ Q- u# y$ w
合并重复字目，取出词目后，总计 349775 个繁体条目（13069 + 336706）：
' ]5 Q5 j) j5 T6 E7 `
7 A" Q" ]. W* o: A2 m) B
* L; P, ]2 U  l% m! S2 u
" ]! h8 o$ H7 j: {% k

因此目前两种方法都是可行的。有意者可自行尝试这两种方法。

# L" |3 u/ o7 V. E/ ]: r

coolsummer

将tsiank大、gnoweb大贴出的撷取画面与WFG大的部落格相比对，两位的撷取似乎都没有部首、笔画、页码等资讯，WFG大的撷取则有，截图供各位参考。
- \3 T5 G( z. {) A- C8 G

liuyunrushui

epwing的劣势就在于外字的处理以及色彩修饰，看到大大们的排版，赏心悦目！

chigre3

换个字体 一下子就古朴典雅了

gnoweb

coolsummer 发表于 2016-5-17 16:41
3 S) N+ @* e* q/ m. J- {/ m9 e+ [+ k将tsiank大、gnoweb大贴出的撷取画面与WFG大的部落格相比对，两位的撷取似乎都没有部首、笔画、页码等资讯 ...

1 H6 _* s$ u8 K2 G$ g已修正。

tsiank

gnoweb 发表于 2016-5-17 16:07
1 }  m. v7 |; i2 u! y) h( L" h) Z又测试了一下，以 tsiank 提供的代码为基础，略作修改，能够完整提取 18014 个字目：

你这个才100多兆，我用按键精灵弄下来的文本都500多兆了。而且按键精灵提取的，有一百零几个词条竟然没有释义。这是原光盘版按字查询时的bug，按词查询却没问题，真是怪了。看了一下你的版本，用工具提取的也没这个问题。

tsiank

coolsummer 发表于 2016-5-17 16:41
将tsiank大、gnoweb大贴出的撷取画面与WFG大的部落格相比对，两位的撷取似乎都没有部首、笔画、页码等资讯 ...

部首笔画这些没有必要。页码只有字头有，词头并没有。把词条页码整合进去才好。

tsiank

liuyunrushui 发表于 2016-5-17 17:05
, C5 p( c, L' f! M" Mepwing的劣势就在于外字的处理以及色彩修饰，看到大大们的排版，赏心悦目！

EPWING的我下载安装加载词典后看到那种界面排版就不想用了。

coolsummer

tsiank 发表于 2016-5-18 01:54
你这个才100多兆，我用按键精灵弄下来的文本都500多兆了。而且按键精灵提取的，有一百零几个词条竟然没有 ...

! l2 u1 y! w1 z2 `* E: N经我向WFG大求证，确实有此问题，必须手动再修补。所以目前看来，似乎还是gnoweb大修改后的撷取法较优，一次到位，没有遗漏。

gnoweb

部首笔画页码编码纯文本数据
! J' ]2 U* q7 Z* K& [" X


0 n. q1 }1 I) u9 p字;总笔画;部首;首外笔画;非标准部首;非标准部首外笔画;Unicode16bit;GBK;BIG5;卷及页面

这个总笔画与剩余笔画数据，不太准确，比如“還”这个字，光盘给的是总18画，首外14画。
- L, _0 t% x/ {
/ F& ^" z5 L6 u7 Q( B. H3 t# a可以使用 CSS 隐藏掉不需要的信息块。或者隐藏掉整个 INFO 块。

coolsummer

与WFG大讨论时，WFG大又指出一项差异，gnoweb大的撷取似乎还是漏失了一些讯息，见图：
' e, R) P! o3 p; c& F5 h  |6 B. e
! G6 X6 r, B* ]2 J& U; `) k

上图是WFG版的 "于" 字(为省篇幅，略经删减)，中图是WFG版的 "于咨" 一词，下图为gnoweb版的 "于咨" 一词，红圈处就是差异所在。这些编号标示了该字于此复词中的读音如何，算是一项重要的资讯。例如在此例中，"于咨" 的 "于" 字，应该读 xū 而不读 yú。以上资讯提供给各位参考。

coolsummer

另再补充，若将复词的相同词头亦做合并，据WFG大的统计，单字数目：13069、复词数目：333625、词条总数：346694。提供给各位检核。