mdb格式转成的纯文本mdx(手机内存小的有福了)

lixun305

. n4 {2 Q% @% J7 C7 j2 ^" u+ ?" s
) r6 ~1 X4 z: t+ w将mdb格式的数据库词典转换成mdx格式的词库，不含任何格式（ 即，不含<font....></font> <img.... 之类的)，就是纯文本形式，这样，mdx尺寸很小。

9 n5 z( H( E& o2 J& @) u由于mdb数据库文件是多个字段的，所以转成的mdx目前只是将第0个字段作为索引，其余的通过一定的格式连接在一起，构成mdx文件一个条目的内容。乍看没啥，但是有时候检索很不方便，例如：中华诗词总汇，有作者，题目，内容，体裁。。。字段，如果将作者作为索引，那么，例如，李白的诗，有984首，在mdcit下检索的时候就有984个 “李白”，很缭乱。 但又想不出更好的办法，实在是mdx的格式、检索方式所固有的缺陷（姑且这么说）。

目前已包括：
8 v2 w; g5 _3 v0 j' k
+ \5 K4 r* w  }) V4 j9 P/ w1. 汉语字典  
2. 成语词典  非常全。有重复词条，但可作为补充解释。
3. 中华诗词总汇  这个应该是相当全面的诗词总汇了。大家可以和 掌上百科的 詩詞總匯.mdx  对比一下。
. \: M  m8 F8 C" x     已加入诗词总汇作者简介，索引已改成 作者_题目，例如，查李白的望庐山瀑布，索引为 李白_望庐山瀑布 或  李白  望庐山瀑布

# t3 y5 }/ W/ Q4. 现代汉语词典
5 d1 H! a/ e% R! x    制作过程见 13 楼。
. v+ @7 S5 l/ r& F  g4 }* U
9 i1 o4 Z- V* z5. 微词典_英汉汉英 词典
   包含226344个条目，尺寸仅4.2M，极限制作。

6. 中华诗词总汇.mdx   李白诗集.mdx

已经在 手机(小米2, android V5)和pc上都测试过。
3 D' r7 f* ]8 P
2 ?" ~; E/ f9 O

lixun305

2 a" H6 ]2 t8 ?4 [
粗略程序已经上传： SqLite2MDB.exe  ，有啥bug请交流或告知，千万别骂娘。
6 h2 w0 r* c* b; C
, s! L/ I: S  [4 E; s% t0 D现代汉语词典第六版.mdx制作过程:
网上有好几个 “现代汉语词典.apk"，重名，也没具体研究过，但都号称支持第六版，这就够了，咱就从这个抓起（版权问题归原作者，这里纯研究，不过好像他们的词库都几乎一样，这个版权怎么说呢？）。
简言之
. Z( F0 C) `. i1. 网上下载apk文件
8 w" s# D  A, {2. 从其中提取出词库
3. 进行整理
; P& g& D0 |8 z" m1 O; Z4. 转换成 mdx 文本
5. 用mdxbuilder生成。
, j$ |: z3 j8 {4 _; }
详细制作过程待续。。。  

/ x' }! e% O' l! x; C9 x9 ^8 u, `不一定有通用性，不喜勿喷。。。
) `- m' H$ ~4 u& ^
1. 网上下载apk文件
0 G- n- h5 f8 k8 oapk文件就是android的标准可执行文件，点击就可以安装到手机上，类似于pc下的.exe文件。究其根本，android源于开放系统linux(我不怎么懂，姑且这么说，勿喷)。所以，apk文件本质上就是一个zip压缩包。 下载到 现代汉语词典.apk后，更名为 *.zip，解压到某一个文件夹下，看到一堆目录和文件，有一个文件夹  assets ，里面是 apk程序的一些数据文件， 在资源管理器下用 详细信息 方式查看，然后按照大小降序排列，一般情况下最大的前几个文件就是词库文件，例如 我看到的：
$ ^1 E5 Q% r8 t: @    apk1:
/ d& x5 Y) v& B+ X            xingkai.ttf
        story.dll
7 O" A1 q( B7 t6 G& p+ f& ^        apk2:
            dictionary.dll
当然，都是穿着马甲的。
1 a" n. r  i4 f& e    用ultraedit打开，可以看到：
        伪装成 字体文件的 xingkai.ttf 实际打头的字节是 PK，那么，他就是一个zip文件，把他更名为 xingkai.zip，解压缩，得到
        bushou,dat  nxbzdxh.apk, nxbxd.apk nxbchina.dat ，这几个文件是用扩展名穿的马甲，用ultraedit一一查看，好了，均是SQLite format打头，那么，这四个文件都是 SQLite格式的数据库文件，将他们均改名为 *.db文件，用SQLiteDev.exe查看，成功打开，分别是 部首词库，新华字典， 汉语词典 成语词典。
. W8 d2 d3 A% q$ r4 ]( F    伪装成系统文件的 story.dll 文件用emeditor打开，发现就是一个文本文件，当然，是unicode格式的，用一般的文本查看，是乱码。
$ J" \! X- d& n7 X! `) W. a    伪装成系统文件的dictionary.dll用ultraedit打开，也是pk打头，更名为zip文件，解压，看到xinhua.db xiandai.db，用ultraedit查看，都是        SQLite format，这个倒是干脆，懒得二次伪装了，那就不客气了，收下！ 用SQLiteDev.exe查看，分别是新华字典词库，汉语词组库（包括成语，词组，故事）.
        这就是通过两个apk文件，得到两个几乎一样的现代汉语词典第六版词库的方法。
7 F* ?. D! w0 }7 E5 S% ?6 I2.
" u) s' I& v- J% B: b: k得到 SQLite格式的词库，虽然可以用SQLiteDev.exe查看，编辑等，但毕竟很不方便，我也没有认真研究SQLiteDev的心思。毕竟做不少特殊的工作，用通用程序SQLiteDev是无法满足要求的，因此，还是自己着手编程来的灵活。 这就是SqLite2MDB.exe(下面简称sq)编制的初衷。
! e+ {8 ~3 E1 x* M" J: g通过sq，将sqlite格式转成我熟悉的mdb格式，就可以用以前的积累，灵活处理了。sqlite数据库的处理源代码可到 www.codeproject.com中搜索。
通过sq, 可选择sqlite数据库中的一个或多个表格，转化成的mdb文件也将以同样的名称创建这些表格。此时得到的mdb词库和原来的sqlite格式是一样的，并没有做什么处理。 相当多的字段都是乱码或者无法识别的16进制数字。
$ C1 v9 z% u0 P$ ~. i3.
通过sq,可以将2中转换出来的mdb数据库加载，在列表中可以看到10条或者更多的记录。一般情况下，有很多字段都是乱码或者无法识别的16进制数字，分两种情况：
乱码字段：这些一般是unicode编码，此时可以点击unicode ->ansi，就会将每一个记录对应的该字段转化成可以识别的字符。注意，转换之前备份一下mdb文件，这个不可逆转啊。转换前请选择要转换的一个或者多个字段。
无法识别的16进制数字字段：这些一般是utf8编码，此时可以点击UTF8 ->ANSI，就会将每一个记录对应的该字段转化成可以识别的字符。
可能有些软件将这些词库做成加密的或者通过什么算法处理过了，对不起，只能放弃了。
可能得到了几个数据库文件，可以都转换成mdb文件，然后用microsofit access打开并合并，这个多个数据库的合并我就没有做到程序中，很繁杂，我也觉得没必要。
/ o9 z6 v( `4 ~: q/ r; V' i' d得到的词库，大多表格名称或者表格的某些字段名称不合意，可以在access中更改，删除等，整到自己满意为止。
% q" j: w. w" @4. 转换成mdx词库文本文件.
这个应该是大家最关注的。
转换前要明确一些任务：(当然，直接ok, ok下去，也会得到一个缺省的mdx文本).
4 j* _3 r1 t! s) Z+ O  [    (1) 要将mdb文件中的哪些表格转到mdx中。 例如，mdb中新华字典，成语词典，现代汉语词典等，可以选择一个或者多个。
. C- i! f- E- l. Z" z; O! w  (2) 针对某一个表格，要将哪些字段的内容转到mdx中。 例如新华字典有 _id  汉字 拼音 解释等字段，_id是为了排序需要加的，没有必要出现在mdx中，可以勾掉。 如果不处理，就是选择所有字段。
2 s) v& Q! e+ @  D6 ?  (3)针对某一个表格，要将哪些字段的内容作为索引。 例如新华字典，希望做成的mdx文件，以 汉字 字段为索引，没人愿意以 1  2 3 4 .....为索引，mdict 搜索的时候，左列如果一堆数字除了挠头有啥用。  索引字段也要勾选，不勾选默认是第0个字段。
' c3 m  s& W( g1 d) o/ _操作步骤：
  a. 打开一个mdb文件，将(2) (3)中的工作做好，注意是对每一个表格都要做，程序中会记住你的选择。
  y* O# o) m: @4 V+ t  b. 选择表格。
  c. 点击 mdb转换成mdx文本 按钮即可。
注意：生成两个文件（例如选择了表格 xhzd)，xhzd.txt     xhzd_info.txt。前者为mdx文本文件，后者是mdx文件的“关于词典”时出现的内容，里面是一些信息，包含，文本从哪些表格转换而来，有多少记录，转换的时间，转换作者（用过mdcit的都知道把，就是:about后出现的)。  xhzd.txt 是纯文本方式，如果原来的词库含有声音、图片等复杂格式，此程序概莫能助。

5. 有了mdx文本，用mdxbuilder即可转换成mdx文件，可将xhzd_info.txt的内容粘帖到mdxbuilder 的 Description 后的编辑框中，当然可以贴上自己的内容。

Langheping

The best. I missed this post.

999阿彌陀佛

好资源！谢谢楼主的分享

lixun305

/ ]  Q4 k' E0 O8 |4 v二楼等着传连接。。。
/ u! Z" R* T1 c: K
http://pan.baidu.com/s/1dDBw44D

7 E$ a7 h9 H( ~. Q2 p) `

yuwb

楼主辛苦了。

bbkbbk

0 o& O& u) W4 A6 C4 \
. N1 Q' I- X/ m# N/ N4 T( }# m  j楼主一片热心，值得称道。然而说到mdx“固有缺陷”，让人感到茫然。
6 N3 i+ Q- K$ A5 L: H& k  ]+ @电子词典，就是数字化的纸质词典，尽管格式繁多，如mdx、bgl、dsl、lsd、dict……但区别不过是排版标签，如mdx直接使用html标签、dsl使用另一套标签……无论哪种格式，其检索方式都是一样的，都是延续了传统纸质词典的检索方式。这个“固有缺陷”看来生命力挺顽强。
电子词典存储格式，与数据库相比，简单得多，可以看成一张只有两个字段（词头为主键，词条内容）的表，而且只能按词头来检索，所以一些电子词典干脆直接存储在sqlite数据库里（我们用的一些mdx词库就是从那里提取的）。
楼主要是想将诗集这种主键≥2个字段的数据库做成词库，就得遵守词库的规则嘛，你要是把作者和题目两个字段放在一起作为词头，保准能直接检索到某位作者的某一首诗。
4 J" P* r- f1 f9 b" t再者，对于这些不太适合做成词典格式的数据，生搬硬套难免驴唇不对马嘴，不妨做成sqlite数据库，在android上写个简单的shell就可以实现各种高级的检索了，不会占用太大的手机资源吧。

a200166

谢谢提供，不错的做法。

lixun305

bbkbbk 发表于 2014-2-6 19:09
  v+ d4 n- K( u* N) Y3 K  F" b1 a楼主一片热心，值得称道。然而说到mdx“固有缺陷”，让人感到茫然。
" q6 @9 x. r, g  S1 R电子词典，就是数字化的纸质词典，尽管 ...

% Z+ ?/ w+ Z, r( U* G9 M1 h对不起，前面发言唐突了。 我实在是对mdx文件格式没有什么了解，所以都是瞎说，请勿见怪。 我的意思是要实现高级查找，做一个查找方便的shell，也要数据库文件本身支持才行。 例如：我要查诗词总汇，查李白所做的题目中含有庐山的诗词，如何查。 层主用 作者 + 题目作为索引，似乎是能解决一些问题，但很有限。 例如，我提的这个似乎无法实现，因为，对题目中含有庐山这一查找，是要实现非 从头匹配，例如：望庐山瀑布可以，庐山谣寄卢侍御虚舟 也可以，赠王判官时余归隐居庐山屏风叠 也可以，凡10余首。 mdx将其它除了索引字段揉在一起，构成内容，有时就非常庞大，如果按照内容查找，将很耗时。 再有： 诗词总汇中 作者苏轼 ，题目为菩萨蛮的就有21首，mdx将作者+题目作为索引也力有未逮，似乎将作者+题目+第一句作为索引可以做到，但这样的索引就很难受了。   
    再次强调，我对mdx格式没有啥了解，错误之处，请谅解，绝无贬低mdx or mdict之意。
   
1 m8 ]9 {2 R5 P  H8 v    sqlite 正在研究，也从一些apk文件中析出一些sqlite格式的词库，想将其转成mdb或者mdx，正在做，目前了解还很肤浅，似乎sqlite也是多字段的，关系数据库模式，一些shell， 例如网上的 现代汉语词典.apk，查找检索还是很方便的，虽然有广告。

诗词文件12M多，应该比较小。

lixun305

游客 60.191.116.x 发表于 2014-2-7 10:22
, `, J  v6 U$ G6 @& L! D诗词文件12M多，应该比较小。

确实。 我将掌上百科的 诗词总汇(繁体).mdx 转换成mdb之后，达到120多M，里面大量的是html的脚本文本，就是 <   > 之间的东西。 即便如此，mdx也是相当优秀的，含有这么多格式，mdx硬是才50多M，同chm格式有得一拼，真的是压缩比率很高啊。 我把所有格式抠掉之后，再转成mdx，就非常客观了，内容真是没有减损，请大家相信。

bbkbbk

7 l* `0 E- s/ O2 p$ o9 p4 N
- P# E6 K- w0 `1.模糊查询、正则查询更多靠的是软件吧，数据格式都是差不多的，全文检索都能实现，这就要看程序设计的能力了，应该在代码上下功夫（当然还要在充分了解数据格式的基础上来做，否则任何努力都毫无意义）。看看这位高人的杰作：
* @" t9 y, f; r& p& P, }  Q' r4 Shttps://pdawiki.com/forum/forum.php?mod=viewthread&tid=11381&mobile=yes
2.词条合并，将同一作者、同题目作品合并到一个词条。
3.sqlite数据库很优秀了，跨平台，可以内嵌到多种语言中，可以取代mdb了。mdx作为词典数据格式已经十分完美，想要实现高级检索功能，要在软件上下功夫了。

lixun305

bbkbbk 发表于 2014-2-7 17:16
1.模糊查询、正则查询更多靠的是软件吧，数据格式都是差不多的，全文检索都能实现，这就要看程序设计的能力 ...

6 b. C0 W1 W9 i% m8 n) Q好的，领教了。 我感兴趣的是各个格式的转换及pc下shell的编制，一直在做。

8 B8 A- T  O9 o& o+ P, ^7 Rhttps://pdawiki.com/forum/forum. ... 1381&mobile=yes  打开怎么是论坛首页？

bbkbbk

lixun305 发表于 2014-2-7 19:00
好的，领教了。 我感兴趣的是各个格式的转换及pc下shell的编制，一直在做。

) L# Y4 F- q  q# |/ y" n+ v: |- nhttps://pdawiki.com/for ...

2 @2 `( B  U+ ~" P. f. q8 C; F汗……我是用手机上网……
你把链接最后mobile＝yes去掉就可以吧。或者去安卓学习小园地版块，spoony1971的帖子，你也许看过。

lixun305

bbkbbk 发表于 2014-2-7 19:15
汗……我是用手机上网……
7 r9 U7 u7 {2 R& W* B  m& m你把链接最后mobile＝yes去掉就可以吧。或者去安卓学习小园地版块，spoony1 ...

& L2 M( I: n( v! S, c# `9 l. d我是pc端的shell，负责格式(mdb xls mdx dict txt)转mdb格式，进而也可以转成mdx，手机上应该可用。我也不懂android下编程，也没兴趣搞。

经典与古典

如听天书 除了汗颜 更有尊敬 多谢几位

cnzj999

感谢分享，不过我核对了一下，应该不是第六版的，百度下第六版的新词没有出现在词典内。
不过词典还是很好用，谢谢了

sbitionliu

好资源一定要大力支持，谢谢

lixun305

回复  cnzj999:
感谢分享，不过我核对了一下，应该不是第六版的，百度下第六版的新词没有出现在词典内。
  T6 x. p7 q2 m/ x) a% f  B4 f不过词典还是很好用，谢谢了
5 i& A) ]( F: B3 t8 F7 e
* W: Q2 I5 j. P2 a0 r- Q这个问题我也一直很困惑，得到词库之后，我认真核实过，确实比第五版有了很大的改动，收词也很多，例如我印象深刻的 “燃油”，这个词组第五版是没有的，并且很多的词典都没有，但这里有，所以，我就认为是第六版的，并且也确实是从号称 第六版 的手机词典软件中提取出来的。 粗略收词（包括 单字，词组，成语，成语故事）10多万条，虽然有不少重复，但是这些重复有些是补充解释，有些确实重复，但扣除重复，也不会少，应和 现代汉语词典第六版不相上下，况且，里面的解释，特别是单字的详细解释，很全面，这也是得益于不劳而获，:p...   
   

liuyunrushui

非常不错的词典！

1 b5 A+ d# X3 e, m0 o支持并感谢楼主！

+ l* k8 T/ D0 S! V不知道楼主的方法能否用于转换ipa格式的词库呢？
  H! ]8 o0 {4 o: W' U4 Z4 Q8 m2 f
期待楼主出一个详细的教程，造福大家O(∩_∩)O多谢多谢!

heda106

第六版的扫描版网上好像还没见到过。不知道那些软件从何处弄的

lixun305

对不起楼上各位。做的时候，成语词典的 英文 字段，有些字符是乱码，因为，在原数据库中，英文和这些字符都是unicode编码，而英文是直接可认的，不是乱码，所以，我只看了前面几个，就没有将该字段转成ansi。  我已经重新制作，请重新下载，抱歉~

lixun305

liuyunrushui 发表于 2014-2-11 23:46
非常不错的词典！

支持并感谢楼主！

, ]/ y; ^; Y: A
  k! d  _* o% w( S$ n; V; N' ~对不起，回复晚了，昨天怎么点击回复都没反应，今天才发现原来是sogou浏览器的原因，用IE没事了，真....。

! L' o3 \0 m) w详细制作过程陆续上传中，会看到的。13楼。
: ~5 u/ z6 v) P9 Q. C0 p
3 U5 k+ w; p: U" O0 Y& B  n- Uipa格式我还是第一次听说，不知如何读写，你有解码代码吗（c源代码之类的），或者有什么软件能将它转换成mdb格式也可以。 如果是源码，我可以将他潜入到我的程序中。

lixun305

heda106 发表于 2014-2-12 09:10
/ h+ X3 Q* S& A; i# {第六版的扫描版网上好像还没见到过。不知道那些软件从何处弄的

, ?: ?' M" y' S这个到百度移动搜索（搜索应用）上，输入现代汉语词典，列出很多，其中尺寸越大的越好（例如19M, 20多M)。 下载apk文件（不要下载到手机），用我13楼的方法就可以得到。不一定通用。
! c- G  a; t" J; n我觉得这个是手机软件厂家自己录入或者通过什么渠道得到的。这些词库和纸质的现代汉语词典6还是有些区别，不过，更多的是扩充的，更详尽。

liuyunrushui

lixun305 发表于 2014-2-12 10:53
# D7 r7 R4 P8 f, b8 e对不起，回复晚了，昨天怎么点击回复都没反应，今天才发现原来是sogou浏览器的原因，用IE没事了，真... ...

; Q; v: q( R, ?2 h! X/ I3 d6 S楼主您好！感谢您的回复。
# R$ H9 r* ~; ?  [7 Y2 }
3 a" J0 ^, _2 B- D8 lipa是ipad/iphone等苹果设备上安装程序的扩展名，也可以用7-zip解压，得到相关数据文件。我下载了几个ipa格式的日语相关词典，有一个解压后得到扩展名为.db文件，用EmEditor打开后打头提示为SQLite format3格式，后续我就不知道该如何操作啦！直接用EmEditor打开.db的话是一堆乱码，无从编辑-_-||。
- X2 @% u0 w" |) H: a
4 F; W1 `) Z5 D4 M期待楼主的教程。
% ?1 O# C# `3 I2 `9 Q% Q1 q1 e
ps：网上还是有蛮多ipa的词典的，想必其中也有不少是.db数据库格式的，如果可以提取数据的话，mdict大家族就又有很多新成员啦！期待期待！

对啦，我的ipa是从以下网站下载的：http://www.51ipa.com/plus/search.php?q=%B4%CA%B5%E4&searchtype=title

lixun305

liuyunrushui 发表于 2014-2-12 11:54
  X( u! S3 ?* C楼主您好！感谢您的回复。
, `5 M8 i" u! ?2 f
& g* L( {; u1 x7 }: F+ I5 pipa是ipad/iphone等苹果设备上安装程序的扩展名，也可以用7-zip解压，得到相 ...

sqlite格式我已经搞明白了，只不过没有做很多的测试。我这个词典就是从sqlite格式转换而来，等程序完善了，我上传到网上（程序主要功能：打开sqlite数据库，可转换成mdb；打开mdb格式，可转换成mdx文本）。 你说的这些词库，到时候自己转吧，有啥新颖的不妨上传上来。  程序名：SqLite2MDB

dingweifengye

非常感谢楼主的分享!支持...