J̥H́-交流 - 词典数据分析方法与思路

johannhuang · 发表于 2020-5-3 18:27:21

给论坛里面的玩家放点星星之火吧，希望能够有朋友能有类似的观点去将词典数据运用起来。

言归正传，本次分享的词典数据分析的主体是 - Ding。

总体思路是

- 将原始数据转换为结构化数据
- 将结构化数据加载到dataframe
- 通过pandas提供的各种方便的函数进行数据统计

通过的Ding数据的分析，得出以下一些统计数据。

相关细节（代码等）见 https://blog.johannhuang.com/English/Data-and-Algorithms/20200502i

在将词典数据运用起来的基础上，还希望能够推一把StarDict。因为如果目标是词典数据运用的话，mdx+mdd确实不太好用。html天生的优势或者劣势就是灵活/包容，灵活/包容的结果就是，计算机程序处理起来太麻烦。

相关贴（自行百度搜索标题）：

- J̥H́-交流 - Apple Dictionary特征收集与整理, /t/topic/1582
- J̥H́-交流 - StarDict的前世归纳与今生展望, /t/topic/1474
- J̥H́-交流 - StarDict 词典排版设计与多媒体支持研究, /t/topic/1523

PS：看另外的帖子，说管理员在修论坛图片问题，希望赶快搞定吧。为了发这个贴，上传图片折腾耗时差不多半小时。（因为在找可以当图床用的个人网盘或者可以允许借链的博客平台/在线笔记平台，因为一般意义上的图床，不太好管理自己以往上传的图片。）

klwo2 · 发表于 2020-5-3 21:40:30

本帖最后由 klwo2 于 2020-5-3 21:41 编辑

再补一段，纯属个人意见，可能和你的意思差很多

所谓「国际化」，很大程度上也就是「谁声门大谁国际化」，跟某某标准是否合理、是否完美没有关系。

西学东渐以来，国人向西洋看齐，希望汉字拉丁化的声音不绝于耳，其中一个小浪潮，就是厌恶「部首排列」，尤其是康熙字典的部首，里头有很多「不合理」的归部。

所以1949年以后中国大陆出版的词典，《新华字典》《现代汉语词典》《辞海》《辞源》《汉语大词典》，各有自己的一套「部首改良方案」，大搞「多开门」，不互通，读者知道某字在一本词典里是什么部首，换一本，居然会扑空！

而港台词典一般坚持用康熙部首，不合理也不改，所以「问」在每一本词典里面都是「口部」字（不是「门部」），你别管合理不合理，反正统一。

到了unicode时代，康熙部首成了「最国际化」的东西，中国大陆的那些「部首改良方案」无人关心，新推出的201部影响也有限。这跟康熙部首合理不合理没有一毛钱的关系，我也觉得「问」不是「门部」字很麻烦啊，但是词典不统一更麻烦

所以说回来，我不知道mdx在你眼里有什么原罪。我用着很顺手，也许哪天外国人看我这么顺手，要嗤之以鼻的，但谁叫我自己做了那么多汉语词典给自己用呢，没办法呀

klwo2 · 发表于 2020-5-3 21:12:30

本帖最后由 klwo2 于 2020-5-3 21:18 编辑

喜欢stardict就去转换嘛，转好以后发其他词典资源区就行了，坛友里面多的是人用goldendict，可以直接加载stardict格式，作品比什么都有说服力，你光说「mdx+mdd限制了人的视野」，怎么个限制法？用了mdx+mdd就别想学会外语了？

你把stardict弄火了，可以开新分区——其实论坛里的分区从来都不是一成不变的，也没有只推mdx+mdd这种事。有一阵儿还想开apple dictionary专区呢，纯看需求

如果想要复兴stardict，最好的办法就是把优秀资源都转一遍stardict，让大家都觉得stardict好，实际上stardict当年还活着的时候，资源就大部分是转的。

你对stardict开源的特点念念不忘，可以理解（但开源的WordNet在小白口中的口碑死活比不上牛津朗文），但是我实在不同意类似「mdx+mdd是中国特色，不国际化」的论调，二战以后，跟「国际化」最沾边的就是美国人、英语，连法国佬都愤愤不平，美国人什么特点？就是不会说外语，只会说英语啊！扔掉词典软件，不是最国际化的嘛？我们一路以来用过的各种app，什么babylon，lingoes，ABBYY Lingvo，stardict，goldendict，哪个是美国人写的？呵呵，全是学英语的人写的！
学英语的人觉得什么app好，什么格式资源丰富，就认可哪个。我觉得挖掘mdx本身的什么民族性什么狭隘性有点——容许我不礼貌一下，吃饱了撑的。再深一点，算不算 reverse discrimination我就不知道了。我是看到论坛里有些不懂中文的朋友也在发mdx，也许你要说人家是上了当。

再退一步讲，现在学汉语的人比二战时候多了，汉语词典还是要么部首排列要么读音排列，要找到一本「国际化」的，「外国人看见一个字长什么样就能查到」的字典，比登天还难。四角号码按说是最接近的，可惜已经没人用了。pleco词典用手写来解决这个问题。日语词典多的是坚持不按ABCD排列的，日本人该是学西方学得很勤快的民族吧？—— 说白了，「国际化」从来就不是什么非要不可的东西

还是那句话，喜欢什么格式就去转，转好了大家的眼睛都看得见。既然要鼓动大家做事，就不能停留在纸面上嘛，如果你的热情有100分，我从你的文字里只能看到30分，再细细品味一下个别字句的意思，再加20分……

johannhuang · 发表于 2020-5-4 20:53:41

klwo2 发表于 2020-5-4 10:18
3 U" s+ t, j7 }4 S你这个「推广」太软绵绵啦，广告要诱人才行啊，我都没看出诱惑来) z: D0 ]* X( j# F' n- `% l; t

4 Q G2 U& R. U& `- ]我说一个实际应用，你说说stardict可以 ...

这个问题，虽然在这里回应的人不多，但从其他渠道获悉 —— 总有“愚民”想笑“朕”。所以，也就借着这个问题多说两句吧。

首先，回应一下推广想法。我的推广本来也不是想强推，只是希望星星之火给能看见的人。

其次，就像论坛里面很多元老用户有各种不同参与方式，作为加入论坛还不到一年的算是新人吧，基于对论坛用户群以及论坛氛围的认识，我在这个论坛也基本选定自己的参与方式，也即：我更喜欢基于我对词典以及词典软件的认识和热情引出一个我觉得值得交流的问题，然后和有相似视野或者想法的人多沟通以使得关于特地主题能够有更多新的思路。词典及词典技术相关的论坛我主要逛两个，在pda里我更期待的，是和有一定词典制作技术及对词典生态了解的用户交流（这也是我很多帖子过了时效以后就改高权限的原因），因为毕竟pda也十多年沉淀。

在网络空间里，很多人对彼此只能知之片面而甚少，所以我一般不太愿意去回应索取性的交流。我个人不太喜欢，嗷嗷待哺的拿来主义者（盼着别人替之嚼好粗食，而不愿意花一点时间动动手、读读文档，自己解决问题）。我不想去说服谁什么道理，我只是更多的想告诉别人我认为是什么道理。别人接受，或者不接受，其实我并不是特别关心。就像，我会告诉大家，我认为StarDict的数据格式就词典设计来说，比mdx+mdd设计的好，只是希望给大家知道有人认为StarDict挺不错，或许值得了解一下（而且我也提供了如何或者很相关资源的信息（因为鉴于本论坛对一些关键字的屏蔽，所以没直接贴出我之前的链接），随便也希望有人给出有理有据的认同或者反对，而不是希望让别人来问我要科普。科普/教育，不是我的义务和责任。

我个人很尊崇klwo2兄对词典内容以及词典品牌特别是中文领域的词典的渊博学识以及广阔视野，所以算是作为受教过的回报，也替klwo2兄从StarDict的文档中摘抄一些相关部分出来吧。

As for the replacement for `@@@LINK=` (which I personally think quite ugly) in mdx:

> It is possible the different word_str have the same word_data_offset and word_data_size, so multiple word index point to the same definition. But this is not recommended, for mutiple words have the same definition, you may create a ".syn" file for them, see section 4 below. -- in the .idx section
> The .syn file contains information for synonyms, that means, when you input a synonym, StarDict will search another word that related to it.

PS: if you want to know more, there is https://github.com/huzheng001/st ... /StarDictFileFormat, although it is in fact written for people who understand at least some about the basics of programming.

oversky · 发表于 2020-5-3 21:51:42

而港台词典一般坚持用康熙部首，不合理也不改，所以「问」在每一本词典里面都是「口部」字（不是「门部」），你别管合理不合理，反正统一。

教育部重编国语辞典有把“善”从“口”部改为“羊”部。

klwo2 · 发表于 2020-5-3 22:01:34

oversky 发表于 2020-5-3 21:51
, o4 E) |9 y8 Y3 P教育部重编国语辞典有把“善”从“口”部改为“羊”部。

国语辞典确实是例外，它改部首的目的，一般是为了契合《说文》，也就是改得更合字理！

「善」从「羊」因为《説文》：譱，吉也。从誩，从羊。——它不取康熙从「口」
「章」从「音」因为《説文》：章，樂竟為一章。从音，从十。——它不取康熙从「立」

其他词典，比如《国语日报》《中文大辞典》，都是不改的

从「统一」的角度讲，我当然对国语辞典有意见，但是它跟中国大陆词典漫无标准，强行认定相比，我会原谅——我可以说它以《康熙》和《说文》为标准嘛。吃一次亏，下次记得查《国语辞典》的时候取说文的那个就行了

klwo2 · 发表于 2020-5-3 22:10:40

oversky 发表于 2020-5-3 21:515 E' c" X2 H, \
教育部重编国语辞典有把“善”从“口”部改为“羊”部。

再补充说一下，重编国语辞典改部首，是只有在线版改，纸书——也就是最后一版纸质的《重编国语辞典》，我刚去查对了一下，仍然是《康熙字典》习惯，善从口，章从立。

在线版改部首的缘由，我认为是编者觉得现如今读者已经习惯打字查询，不会出现部首不统一造成困惑了，修改以后的部首更能体现字理。

klwo2 · 发表于 2020-5-3 22:20:49

本帖最后由 klwo2 于 2020-5-3 22:22 编辑

我在2楼说词典app都是非英美人写的，不料这就意识到一个例外了——pleco

https://www.pleco.com/about/

这位是为了学汉语的目的写的，专为汉语、汉字的情况优化 —— 所以嘛，人是「国际化」的，就是欧美人，至于app……国际化……还是不国际化，我就不知道了呃

pleco不支持pc，里面的词典也不是开源的（但人家是正版的），所以……

我搜了一下人家的论坛，里面也有人拿这个搭配mdict用的，说实话我也不懂你也好，我也好，为什么要纠结这个问题，我反正从来没有鼓吹过mdict天下第一要去统治宇宙称霸世界别的格式统统死光光这样的话……

johannhuang · 发表于 2020-5-4 01:04:48

klwo2 发表于 2020-5-3 21:12/ U7 V3 x% N& t7 s% o) R% K. R- S
喜欢stardict就去转换嘛，转好以后发其他词典资源区就行了，坛友里面多的是人用goldendict，可以直接加载st ...

mdx+mdd并没有原罪哈。其实我自己制作的多的也是mdx+mdd，因为简单。而且就我自己制作的需求来讲，一般不需要逆向，也就是从mdx+mdd逆向到html，然后处理。当事实上，在制作阶段我会选择使用sqlit3，因为结构化的数据进一步变形及衍生就是很方便。

同样，如果社区里面用stardict制作的词典多了，从.syn或者.dic导出的xdxf能够提取并进一步加以运用的数据就多了。
关于mdx+mdd与stardict格式的偏好，其实不同人当然会有不同观点。我倒是没有说想复兴stardict，只是觉得这个设计的不错的词典格式，是值得偶尔帮忙推广一下的。不慌不忙，岁月流长。点个星星之火，燎原也好熄灭也罢，其实我并不特别急切。毕竟，我也与mdx+mdd利益无关，我也与stardict利益无关。只是，遇见好的东西，就像让大家也知道而已。

klwo2 · 发表于 2020-5-4 10:18:10

johannhuang 发表于 2020-5-4 01:04
& `; J- |* j6 S- c1 k w" a6 zmdx+mdd并没有原罪哈。其实我自己制作的多的也是mdx+mdd，因为简单。而且就我自己制作的需求来讲，一般不 ...

你这个「推广」太软绵绵啦，广告要诱人才行啊，我都没看出诱惑来

我说一个实际应用，你说说stardict可以怎么解决这个问题吧：

繁简转换是一般词典软件都有的功能，和格式关系不大，比如goldendict，靠openCC，输入「眞」「真」都可以查到彼此，输入「眞正」也能查到「真正」。openCC不是粗暴等价，不会有错误的组合，「干隆」（乾隆的错误写法）就不会触发。

但也有一些异体字，openCC没有收录，做mdx的时候就必须时刻注意，用@@@LINK机制写入，比如：

朶
@@@LINK=朵

花朶
@@@LINK=花朵

淸
@@@LINK=清

（你想想带「清」字的词有多少啊！每个都要排查出来）

如果换用stardict，怎么做呢？

EarthWorm · 发表于 2020-5-4 21:10:10

本帖最后由 EarthWorm 于 2020-5-4 21:20 编辑

klwo2 发表于 2020-5-4 10:18! K1 u& Q& b+ g4 R5 D( c2 i
你这个「推广」太软绵绵啦，广告要诱人才行啊，我都没看出诱惑来) n5 x- F0 w) X! @
6 ~6 D# E0 s4 d S, ]
我说一个实际应用，你说说stardict可以 ...

你不会或者你没听说过不代表 StarDict 不能...

就我知道的至少有一种方式:

朵|朶
(定义)

花朵|花朶
(定义)

清|淸
(定义)

然后以 Babylon file 格式编译

这个我很早在论坛问过, 也早就有高人回答过(不是在我的问题贴里)
如果 StarDict 的源文件用 xdxf 格式编写, 应该使用 <sr> 标签就可以实现, 这个跟 Apple 的词典应该是类似的, 因为两者都是 xml 结构的
关于 xdxf 词典格式, 有兴趣的可以去这里研读: https://github.com/soshial/xdxf_ ... xdxf_description.md

这就有两种方式可以实现了...

klwo2 · 发表于 2020-5-4 21:32:08

johannhuang 发表于 2020-5-4 20:53
! @' t- q+ P5 G' t! X这个问题，虽然在这里回应的人不多，但从其他渠道获悉 —— 总有“愚民”想笑“朕”。所以，也就借着这个 ...

你大概没明白，我希望做到的是：

淸=清

「淸」字出现在其他条目里面的时候，也一律=清

这样，不用写「淸白=清白」「淸晰=清晰」……一大串了

又比如，color = colour

color 出现在其他条目里面的时候，也一律=colour

这样的写法，stardict支持嘛？

mdict采用的@@@LINK=优雅不优雅，不是我关心的事，过去babylon用「|」，我也照样做词典嘛，没有什么不同。能灵活支持「别家做不到的功能」才是我关心的。

论坛里的人，各有各的喜好。我对css完全无感，有个看得过去的用用就行了，但有人很痴迷这个，改css得鱼忘筌忘了学英语，我挺理解；再比如有人追求真人发音，一个词典没有真人发音就浑身觉得没学会发音，这当然也好理解。你看stardict好，当然有你的角度，不过我是讲实用的，自然更希望知道stardict格式有什么别人做不到的potential嘛，哪能动不动就mac好还是pc好，Emacs好还是Vim好呢

klwo2 · 发表于 2020-5-4 22:03:43

本帖最后由 klwo2 于 2020-5-4 22:08 编辑

johannhuang 发表于 2020-5-4 20:533 o1 z! t* L t' ^$ Y1 c2 t
这个问题，虽然在这里回应的人不多，但从其他渠道获悉 —— 总有“愚民”想笑“朕”。所以，也就借着这个 ...

论坛交流，有的人喜欢抽象的，有的人喜欢具体的

我见过多次有人问：为什么你的东西有那么多图片版？图片版不好，文字版才是王道云云。理论上我当然知道文字版最佳，可是论者似乎忘了，完全没有现成数据，做汉语词典文字版的成本、精力有多少，做得过来吗？既然这么高屋建瓴，为什么你不多做一些无现成数据的文字版给大家看看呢？这是太抽象的坏处

我不用手机查词典，我做的素来都是整页图片，不过有好心坛友把他们中意的作品转成切图版，手机也能用，材料没变，形式更灵活了，这是功德一件，跟理论跟思想无关，就是具体的活儿

现在你要论述stardict和mdict格式的优劣，甚至mdict格式背后反映了什么思想，这样的话题我很为难，我要做什么功课才好理解你的思路呢？我说一个实用的事儿：假如我要去学一个新语言，需要词典，stardict好用还是mdict好用？

我找到一个拉丁语词典资源网：https://nikita-moor.github.io/dictionaries/docs/docs.html

这个资源网提供了XDXF, Slob, StarDict, MDict 四个格式！PC上它推荐用goldendict。

手机上呢？它觉得Aard 2+Slob格式好，Slob忒偏了，但是有资源呀。不想用Slob，用Alpus GoldenDict Mobile 这两个程序支持StarDict，但免费版最多只能加载5个词典……呃……最底下是国货深蓝还有mdict，支持mdx，同时morphology 方面不错（有本论坛许一诺的资源加持）……

前一个帖子我说了，我没法回答mac好还是pc好，Emacs好还是Vim好这样的话题，爱讨论这两个话题的人，关心的是philosophy，而不是写出来的代码会不会赚钱（最近COBOL又热了一把不是）；stardict和mdict格式背后有什么philosophy，我真的勉为其难，但是……我关心能用什么格式下到资源，学会外语呀，或者，我关心哪个格式做起来方便，灵活，让制作词典的人用着顺手呀

johannhuang · 发表于 2020-5-4 22:47:11

klwo2 发表于 2020-5-4 21:32) y v @& X& u: C- i) G
你大概没明白，我希望做到的是：
+ J$ P I0 o1 P3 |0 t \9 z
7 f& |1 K1 \8 V* y" _$ `7 _淸=清

淸全部换成清的问题，这么说吧，mdx能做的stardict都能做，而且并不污染词典数据本身也即.dict，因为放到了单独可方便增删的.syn，也就是说可以做的更好更方便。这里更多讨论的是stardict词库格式和mdx，简繁转换在用stardict的情况下，还是可以借助goldendict的转换啊。

klwo2 · 发表于 2020-5-4 23:23:52

johannhuang 发表于 2020-5-4 22:478 Q9 n* v9 ?" T, u
淸全部换成清的问题，这么说吧，mdx能做的stardict都能做，而且并不污染词典数据本身也即.dict，因为 ...

淸=清，一般的繁简转换不支持，goldendict用的opencc也不支持

「淸」字出现在其他条目里面的时候，也一律=清，这个写法，mdict格式是没有的

oversky · 发表于 2020-5-5 17:06:22

本帖最后由 oversky 于 2020-5-5 17:21 编辑

klwo2 发表于 2020-5-3 22:01# t5 ^. j& P; r; x# j2 `9 a
国语辞典确实是例外，它改部首的目的，一般是为了契合《说文》，也就是改得更合字理！
4 F1 @" P5 J/ `: @
9 N: F9 w2 i/ U' \; }1 Z: Y! |「善」从「羊」因 ...

前天一时没想起来，高树藩的两本字典也有改部首。

国民常用标准字典

正中形音义综合大字典还有把改部首的字列出来

这两本的资源就比较少看到。

klwo2 · 发表于 2020-5-5 18:20:04

本帖最后由 klwo2 于 2020-5-5 18:23 编辑

oversky 发表于 2020-5-5 17:064 `5 a1 f G5 e& y5 G: d& N
前天一时没想起来，高树藩的两本字典也有改部首。
2 e. k' c$ }" N
/ k% u, ~. b3 D1 i2 e7 B国民常用标准字典

《正中形音义综合大字典》改归部，读者显然不买账，该书的「增订本」里，有些字神奇地回到康熙归部了！

「章」字回到「立」部了。

增订本没有全面回归康熙的归部。估计只是读者抱怨哪个就恢复哪个。「章」字归「立」部是不合字理的，但是大家都习惯了。

《正中》还算老实的，把改动的地方都列出来。不老实的就多了去了。

高树藩老家在湖北省孝感市大悟县，大概因为这层联系，他的《正中形音义综合大字典》（中华书局改叫《中文形音义综合大字典》）《新修康熙字典》翻印本在中国大陆图书馆都能找到，翻印质量一般，不过好歹有，并不少见。《国民常用标准字典》大概因为「国民」俩字，大陆无货。

高树藩在《新修康熙字典》里头也有改坏东西的情况，性质比《正中》只调个部首什么的恶劣多了。《正中》一直有增订本，《新修康熙字典》则没有看见再版了

喬治兄 · 发表于 2020-5-5 18:53:29

本帖最后由喬治兄于 2020-5-5 18:59 编辑

klwo2 发表于 2020-5-5 18:20+ Y, D4 h) K" _2 X4 o7 Z7 J
《正中形音义综合大字典》改归部，读者显然不买账，该书的「增订本」里，有些字神奇地回到康熙归部了！

klwo2兄是正中書局這本嗎?
這家書店很久了....記得更早之前的一些高中教科書是正中書局編印的
在重慶南路上離總統府不到 500米吧
和北一女也不到 1000米吧
後來高中教科書公開招標
正中書局似乎就沒落了.......

oversky · 发表于 2020-5-5 18:59:43

姓章的多用“立早章”，来说明是那个姓。久了就习惯了吧。

喬治兄 · 发表于 2020-5-5 19:09:00

oversky 发表于 2020-5-5 18:59' z2 W9 f7 m& ]8 m/ ?- T0 B8 _
姓章的多用“立早章”，来说明是那个姓。久了就习惯了吧。

oversky 兄:
此本国民常用标准字典如何....?
我也沒見過有人用這本

oversky · 发表于 2020-5-5 21:18:50

喬治兄发表于 2020-5-5 19:09
2 V, `" W: P# a6 P9 goversky 兄:+ ]) }, s7 B: |% [0 ?' ~! J3 F
此本国民常用标准字典如何....?
" x7 {3 Z& V" p8 G$ v我也沒見過有人用這本

这本 google 有扫描，可以看七、八成内容
https://books.google.com.tw/book ... 4%BA%BA&f=false

大至算是形音义综合大字典的简编本，
收一万六千七百九十六字。
也是恰巧在二手书店看到才买下来的。

oversky · 发表于 2020-5-5 21:20:19

喬治兄发表于 2020-5-5 18:53
' {, Q. R0 P, O7 s: a5 O- xklwo2兄是正中書局這本嗎?% w9 F8 s* l# k2 E# \) s5 E
這家書店很久了....記得更早之前的一些高中教科書是正中書局編印的
`+ Z5 s( u2 j& n; d3 n/ P在重 ...

对，买到的就是这一版本。

喬治兄 · 发表于 2020-5-5 21:23:57

oversky 发表于 2020-5-5 21:18
# \$ I* l" ` @5 n, W. U f6 F这本 google 有扫描，可以看七、八成内容/ m5 G v! d" Y5 }3 Z- t
https://books.google.com.tw/books?id=ILiusf0IWVgC&lpg=PP136 ...

oversky 兄:
台灣二手书店大概也只剩 2~3 本
Thanks a lot

oversky · 发表于 2020-5-5 21:36:37

klwo2 发表于 2020-5-5 18:20
" n b9 n& Q8 }5 ?% T0 Y: r2 i. ^《正中形音义综合大字典》改归部，读者显然不买账，该书的「增订本」里，有些字神奇地回到康熙归部了！

昨天在二手书店看到的正中形音义综合大字典 1987 年台二版第六印刷，
善是在“口部”里。
因为手上的 1989 年国民常标准字典是在羊部。
所以我本以为是二版有些字还是套用康熙字典，要到三版才有改。
倒是没想到有应读者要求改回康熙归部。
改天我再到图书馆找三版的正中形音义综合大字典确认一下。

oversky · 发表于 2020-5-5 21:48:20

喬治兄发表于 2020-5-5 21:23/ ~2 B) t0 w) B5 s9 W
oversky 兄:* ?4 S* t3 f) B& m( S2 ?, D+ I
台灣二手书店大概也只剩 2~3 本& v9 A& I3 ~4 }0 U. Y5 |
Thanks a lot

这边有 90 年版的，和 google book 上的同一版本。
不过我看序言是和我买的红皮版一样。
https://goods.ruten.com.tw/item/show?21742221682018

		自动登录	找回密码
密码			免费注册

[经验心得] J̥H́-交流 - 词典数据分析方法与思路

评分

点评