eudic 文件格式浅析

bihaiorg · 发表于 2021-3-18 01:43:19

本帖最后由 bihaiorg 于 2021-4-8 06:49 编辑

eudic 文件格式浅析

4月8日进度：

Debugging...
已解密大部分《有道》只读不写、《欧路》词库，读写未加密词库。其余已支持《星际词霸stardict》、《灵格斯词霸》、《goldendict》等大多数词库格式。
突发奇想，既然兼容了大部分词典，是不是应该考虑写一个新词典工具呢？恐怕要做自由软件，收费困难，动力不足。6 z- e/ X. ^' e
( ^6 @7 Z6 ~! ~% L# `: n" O9 E
* @, A/ r* E7 I0 |, g5 N1 e: r

4月5日进度：
感谢各位大佬支持鼓励！
Debugging...
EUDIC全系列解码测试，包括AES192加密等。
有道全系列解码测试，包括YDD、DAT、YDIC、JSON等。
海笛词库解码测试，包括DGZ、ADGZ等。
其他的，还有必要解吗？大部分都是开源了。
个人觉得不应该发布这种转换工具，看他们用户协议写着“不能反编译、反向工程，不得制作类似软件”什么的，不过俺一不是他们用户，二不是靠反编译、反向工程，纯粹靠猜，至于是不是制作类似软件什么的，管的着吗？
还是有点怕法务部。
很迷茫。。。
各位大佬有转换需求，可以私信发给我，有空必回复。

3月26日进展：
Debugging...
顺便解析了《有道词典》安卓版的词库（桌面版格式不同）
A�{"wordList":[{"h-g":{"p":[{"p":"pron"}],"i-g":{"i":{"audio":"http://ydschool-online.nos.netease.com/oxford_Advance_video_US__/_e/_em/_em_1_gb_1.mp3","content":"əm"},"y":{"audio":"http://ydschool-online.nos.netease.com/oxford_Advance_video_US__/_e/_em/_em_1_us_1.mp3"}},"r":[{"r":" informal "}],"h":"'em","x":[{"xr1":[{"xt":"eq","value":[{"xh":"them","xt":"eq"}]}]},{"chn":{"content":"别让他们跑掉。"},"content":"Don't let 'em get away."}]},"Name":"'em"}]}

3月24日进展：
完成各种EUDIC版本格式解析，包括dic文件夹下的主词库combined.bin、phrase.bin，支持解密，支持解析附加资源文件。

3月23日进展：
完成eudic解密及词典目录列表，vb6写个演示版

3月初
txt转EUDIC有专门的工具，反向的好像没找到，只好自己研究一下：

private bool ReadDBHeader(GClass103 dbHeader, BinaryReader eudicReader) S/ T4 I. d. j- p, W0 }
{0 x, \$ ]/ F6 R. r# o5 g+ s5 v
MemoryStream memoryStream = new MemoryStream();
& O4 |, n8 G" ~# V0 ~7 z* D0 [
//BinaryReader BinaryReader = new BinaryReader(memoryStream);
- Y# M' p2 f. Q/ t
% p) n+ T8 ~2 X' V
eudicReader.BaseStream.Seek(0L, SeekOrigin.Begin);
, o# E1 x8 b' u+ N/ V/ |
Byte bFoo = 0;# z; {6 ?" e0 w1 a9 Y; `
bFoo = eudicReader.ReadByte();//86
% L7 O6 ^' [/ i/ R- O4 n! l! J8 d
bFoo = eudicReader.ReadByte();//17
, ?# V. s7 a' D9 i9 J+ B* m
dbHeader.int_0 = eudicReader.ReadInt32();
4 o* C# X9 Z1 E
dbHeader.int_1 = eudicReader.ReadInt32();7 b% r8 I, o3 V
dbHeader.genum5_0 = (GClass0.GEnum5)eudicReader.ReadInt32();
# \& S _8 B) f( A; `
bFoo = eudicReader.ReadByte();//52
2 {5 E* |4 ^# G( P
bFoo = eudicReader.ReadByte();//124 ~" x! j* ]2 K; Q
uint iFoo = eudicReader.ReadUInt32();//3u
) e+ O( A% u# Q9 l$ e# A. t& ~
byte[] buffer = new byte[1018];
' Z) Z6 }) Y% i9 Z: t6 U
Random random = new Random();
. [3 X: L/ C: u8 m3 o
random.NextBytes(buffer);
, q. l- Q' \- v: Z) D1 A. o
buffer=eudicReader.ReadBytes(1018);. P N8 J7 {3 T' a. |3 [/ O
byte[] array = { };
, H5 t' @& s: R$ c w8 n- r
int arrayLength = dbHeader.int_0;
& z+ ?! \; Y$ L
array =eudicReader.ReadBytes(arrayLength);
/ Q6 F# B4 j% ?3 p2 k7 D3 X4 d
dbHeader.int_5 = eudicReader.ReadInt32();# m8 X. ^, `, X" C" j
int num = 0;# B' v( a) o1 S5 H
checked
. S6 E. K; P: k3 ~4 [. C4 Q, o0 ^
{
, P: {, U( p% \# m- L1 Z. m% x) H
int num2 = dbHeader.int_5 - 1;! ~9 k8 M8 J( X: Q! F3 o
for (int i = num; i <= num2; i++)
! ?9 d& `$ ?& m5 k+ {
{& B$ e3 ~. Z- U* ]% e
dbHeader.long_3[i] = eudicReader.ReadInt32();' V4 J; Q \7 A1 P/ e) V$ F6 K
}; f: c% Q5 }+ D- O& u
eudicReader.ReadBoolean();: I1 ?4 L6 v6 N2 ^
dbHeader.int_1 = (int)eudicReader.BaseStream.Position;& ^. p. `* M8 B6 d g! v% G$ q
//bool result = false;1 x/ M8 Z1 A( N8 b. U9 `
//return result;
, _( J1 V* i) [" X' w
}* u; }3 ~8 X' r3 x* r3 Y o
return true;$ Y* Y( i9 Z2 A2 {- p
}

复制代码

看来挺复杂，其实也没啥。
估计过几天放一个转换工具，不知道是不是侵犯版权？

bihaiorg · 发表于 2021-3-18 05:52:24

https://gitee.com/wp19991/eudic-dictionary-making
txt转EUDIC是官方工具，EUDIC转txt好像还没有，大家觉得有必要吗？

kyletruman · 发表于 2021-3-18 12:08:09

bihaiorg 发表于 2021-3-18 05:52% i, \1 @ M, G) X
https://gitee.com/wp19991/eudic-dictionary-making
3 a, i. Z8 w+ l& e/ K5 R D& Ptxt转EUDIC是官方工具，EUDIC转txt好像还没有，大家觉 ...

EUDIC转txt非常有必要，有的话，建议把工具放出来

bihaiorg · 发表于 2021-3-19 21:55:03

举例：Han_Yu_Da_Ci_Dian.eudic，转换为TXT:

一<DIV><DIV>yī 〡 〔《廣韻》於悉切，入質，影。〕 1.數詞。大寫作“壹”。最小的正整數。常用以表示人或事、物的最少數量。 《詩?鄭風?野有蔓草》：“有美一人，清揚婉兮。” 《論語?公冶長》：“﹝子貢﹞對曰：‘賜(子貢)也，何敢望回(顏回)？回也，聞一以知十；賜也，聞一以知二。’”唐韓愈《送石處士序》：“先生居嵩邙瀍穀之閒，冬一裘，夏一葛；食朝夕，飯一盂，蔬一盤。” 清彭端淑《為學一首示子侄》：“吾一瓶一缽足矣。” 2.序數的第一位。 《書?洪範》：“五行：一曰水，二曰火，三曰木，四曰金，五曰土。” 《漢書?鮑宣傳》：“凡民有七亡：陰陽不和，水旱為災，一亡也。” 《儒林外史》第十九回：“﹝匡超人﹞考過，宗師着實稱贊，取在一等第一。” 魯迅《吶喊?明天》：“原來魯鎮是僻靜地方，還有些古風：不上一更，大家便都關門睡覺。” 3.若干分中的一分或整數以外的零頭。 《左傳?隱公元年》：“先王之制，大都不過參國之一，中五之一，小九之一。” 《文選?陸機〈嘆逝賦〉》：“顧舊要於遺存，得十一於千百。” 李善注：“十一者，謂通千百而計之，十分而得其一。” 唐韓愈《別知賦》：“惟知心之難得，斯百一而為收。” 宋洪邁《容齋隨筆?俗語有所本》：“俗語謂錢一貫有畸曰千一、千二，米一石有畸曰石一、石二，長一丈有畸曰丈一、丈二之類。” 4.表示一部份。 《呂氏春秋?舉難》：“尺之木必有節目，寸之玉必有瑕瓋，先王知物之不可全也，故擇務而貴取一也。” 高誘注：“一分。” 5.表示動作一次或短暫。 《宋書?戴顒傳》：“綏(王綏)曰：‘聞卿善琴，試欲一聽。’” 《三國演義》第一○六回：“勝(李勝)曰：‘乞紙筆一用。’” 《二刻拍案驚奇》卷十一：“書生得了科名，難道不該歸來會一會宗族鄰里，這也罷，父母墳墓邊也不該去拜見一拜見的？”丁西林《一隻馬蜂》：“這幾天太陽已經很利害，不如叫他們先把南房裏的皮衣，拿出來曬一曬。” 毛澤東《實踐論》：“你要知道梨子的滋味，你就得變革梨子，親口吃一吃。” 6.某一個。 漢劉向《列仙傳?騎龍鳴》：“一旦騎龍來游亭下，語云馮伯昌孫也。” 《三國演義》第九二回：“忽見一人自正南而來，口稱有機密事。” 清蒲松齡《聊齋志异?狼》：“一屠暮行，為狼所逼。” 毛澤東《矛盾論》一：“唯物辯證法的宇宙觀主張從事物的內部、從一事物對他事物的關係去研究事物的發展。” 7.每個。 《三國演義》第二七回：“一人一個火把。”

复制代码

instrumental · 发表于 2021-3-18 08:19:27

bihaiorg 发表于 2021-3-18 05:52' G+ M% I3 V) V7 M8 Q
https://gitee.com/wp19991/eudic-dictionary-making
. ?7 g1 p& ^3 a# b# v5 itxt转EUDIC是官方工具，EUDIC转txt好像还没有，大家觉 ...

有必要,非常有必要

bihaiorg · 发表于 2021-3-18 13:44:45

研究了几天，不太容易，现在能做到解压，但是索引不好找

喬治兄 · 发表于 2021-3-18 16:12:24

bihaiorg 发表于 2021-3-18 13:44
3 w; X' o6 F. Z8 `5 c/ J0 |( @0 D! x研究了几天，不太容易，现在能做到解压，但是索引不好找

bihaiorg 兄，辛苦了！，更希望轉成 txt 格式帶有 html 標簽，則更易於轉成mdx

bihaiorg · 发表于 2021-3-19 06:51:55

解析了一下文件头：
Han_Yu_Da_Ci_Dian.eudic：
汉语大辞典@可查成语48700条、汉字20973个、词语377590条、诗词93535首、歇后语16648条、灯谜40790条、对联5390幅、妙言警句13752条、俗语1929条、谚语1200条、同义词2036组、反义词3282组、别名近1000组、古文词语近1000组，内设【辞海成语词典】、【常用成语词典】、【新华字典】、【中华辞海】、【中华诗词】、【拼音专家】、【歇后语大全】、【灯谜大全】、【对联欣赏】、【同义反义别名词典】、【名言词典】、【古文词典】及【成语故事】等内容，其拼音、解释、出处、示例等等都一目了然。

作者：Eudic
任重道远，格式复杂。

bihaiorg · 发表于 2021-3-19 07:05:03

欧陆的没啥意思，研究了一下海笛的DGZ/ADGZ，听说比较权威。

kyletruman · 发表于 2021-3-19 12:07:05

本帖最后由 kyletruman 于 2021-3-19 12:14 编辑

bihaiorg 发表于 2021-3-19 07:054 G- L# _+ B5 p. z. ^9 Q
欧陆的没啥意思，研究了一下海笛的DGZ/ADGZ，听说比较权威。

海词(即海笛)的APP需要购买账号，只能联网查询，离线啥都看不见，比如牛津现代英汉双解大词典（第12版） [Concise Oxford English-Chinese Dictionary]这部词典，需要花钱：https://www.wandoujia.com/apps/7577097，目前论坛没有该词典的文字版mdx

bihaiorg · 发表于 2021-3-19 12:34:47

本帖最后由 bihaiorg 于 2021-3-19 15:39 编辑

不能乱说了

bihaiorg · 发表于 2021-3-19 12:43:04

这几天主要研究“欧陆eudic”词库解压转txt，下周开始研究“有道”词库，争取做个通用工具

sxingbai · 发表于 2021-3-19 20:31:19

牛人，崇拜，期待通用转换工具

bihaiorg · 发表于 2021-3-19 21:59:10

目前还不完善，有转换需求的话可以私信研究一下。目前只能转一下小文件，主要是懒得分析INDEX索引，所以解压后是一大坨。

bihaiorg · 发表于 2021-3-19 21:59:45

目前还不完善，有转换需求的话可以私信研究一下。目前只能转一下小文件，主要是懒得分析INDEX索引，所以解压后是一大坨。

皇帝 · 发表于 2021-3-21 00:46:35

bihaiorg 发表于 2021-3-18 05:52
$ U" M- S5 _% R& P8 \9 E1 lhttps://gitee.com/wp19991/eudic-dictionary-making( e& I- M4 _; N9 L
txt转EUDIC是官方工具，EUDIC转txt好像还没有，大家觉 ...

有必要的，亲，超级有必要，去做吧

emptls · 发表于 2021-3-23 16:47:25

欧路那个离线词典不错的，还带图片。剩下的就是原声例句也不错。个人认为就这两本不错，其它我都加载别人制作的词典。

bihaiorg · 发表于 2021-3-23 17:31:53

不在乎它错不错，只希望兼容大部分词典格式

bihaiorg · 发表于 2021-3-24 16:15:36

个别EUDB还是解析失败，有好几种格式，有加密的有不加密的，没资料，难弄。
Processing: H:\stardict\eudic\unpack_EUDIC\2129724425.eudb
Got: 湘雅医学大词典@湘雅医学大词典最权威的医学大词典
资料来源 StarDict Project

shawky.nasr · 发表于 2021-3-24 22:58:54

厉害，辛苦了

bihaiorg · 发表于 2021-3-25 06:04:33

本帖最后由 bihaiorg 于 2021-3-25 07:10 编辑

涉及eudic主密钥，这个工具就不适合公开发了，侵权是肯定的。
为了避免纠纷，匿了。。。
算法完成，目的达到，告一段落。
本周目标解密《有道》YDIC文件格式，各位大佬有没有相关说明资料？

sannuofy · 发表于 2021-3-31 00:13:02

逆转 txt, 这就是破解词库啊....能做到方便的逆转词库, 获得各种词表, 那综合利用起来, 简直...

chigre3 · 发表于 2021-4-13 09:47:31

海迪的一些词典的index可以导出就好了

nameldk · 发表于 2021-9-16 11:21:18

持续关注中

吃橘子吗 · 发表于 2021-9-19 14:06:37

持续关注，加油

		自动登录	找回密码
密码			免费注册

[经验交流] eudic 文件格式浅析

本帖子中包含更多资源

评分