mdb格式转成的纯文本mdx(手机内存小的有福了)

lixun305

1 h2 f5 A/ n2 X% m: U
将mdb格式的数据库词典转换成mdx格式的词库，不含任何格式（ 即，不含<font....></font> <img.... 之类的)，就是纯文本形式，这样，mdx尺寸很小。
1 a  N$ _; N2 a& r7 H- L+ O
3 J+ g" x4 l, t9 N1 O; f8 f由于mdb数据库文件是多个字段的，所以转成的mdx目前只是将第0个字段作为索引，其余的通过一定的格式连接在一起，构成mdx文件一个条目的内容。乍看没啥，但是有时候检索很不方便，例如：中华诗词总汇，有作者，题目，内容，体裁。。。字段，如果将作者作为索引，那么，例如，李白的诗，有984首，在mdcit下检索的时候就有984个 “李白”，很缭乱。 但又想不出更好的办法，实在是mdx的格式、检索方式所固有的缺陷（姑且这么说）。

, ]5 I! Y) z, {" L( A目前已包括：
# K" E- F9 v* }9 I) H6 Z. {
8 Y5 j! |. g( _) Z7 t1. 汉语字典  
2. 成语词典  非常全。有重复词条，但可作为补充解释。
3. 中华诗词总汇  这个应该是相当全面的诗词总汇了。大家可以和 掌上百科的 詩詞總匯.mdx  对比一下。
6 F9 i) v# G. _6 b" l/ z2 b* V) y     已加入诗词总汇作者简介，索引已改成 作者_题目，例如，查李白的望庐山瀑布，索引为 李白_望庐山瀑布 或  李白  望庐山瀑布

1 a! c/ s$ M% f& }! |% S8 H3 i* U4. 现代汉语词典
9 }3 P8 u2 G1 z7 g" b    制作过程见 13 楼。

5. 微词典_英汉汉英 词典
6 u+ w6 O3 z9 ^# o6 i2 C* `0 R/ ~/ B# _3 m   包含226344个条目，尺寸仅4.2M，极限制作。

6. 中华诗词总汇.mdx   李白诗集.mdx
) b& t  V! E9 B( ^
已经在 手机(小米2, android V5)和pc上都测试过。
5 `$ e- h. ]+ d/ f5 [

lixun305

粗略程序已经上传： SqLite2MDB.exe  ，有啥bug请交流或告知，千万别骂娘。
1 @$ H" u4 Z$ a6 A& |9 ~& V7 y3 R1 l
2 `/ ?; R) S* ?- E: [- ~2 s现代汉语词典第六版.mdx制作过程:
/ A5 ~& T; r9 O网上有好几个 “现代汉语词典.apk"，重名，也没具体研究过，但都号称支持第六版，这就够了，咱就从这个抓起（版权问题归原作者，这里纯研究，不过好像他们的词库都几乎一样，这个版权怎么说呢？）。
3 ^' v) @8 ~& d$ H, a4 ^简言之
* B! N6 O5 l9 s. x8 C1. 网上下载apk文件
2. 从其中提取出词库
: p; P3 Q$ f; `" k2 S+ h) f3. 进行整理
, D) T- E) s0 y# f' C8 w$ J4. 转换成 mdx 文本
( Y* I! {: V5 Z8 g5. 用mdxbuilder生成。
& Q. r4 ], P% @' z
详细制作过程待续。。。  
& f( o- G: [( V8 J
/ W, F1 F# H6 s2 j不一定有通用性，不喜勿喷。。。
% t) u7 x& \0 ]. b" V
0 V$ P0 K3 U+ l, n# `2 k1 Z1. 网上下载apk文件
apk文件就是android的标准可执行文件，点击就可以安装到手机上，类似于pc下的.exe文件。究其根本，android源于开放系统linux(我不怎么懂，姑且这么说，勿喷)。所以，apk文件本质上就是一个zip压缩包。 下载到 现代汉语词典.apk后，更名为 *.zip，解压到某一个文件夹下，看到一堆目录和文件，有一个文件夹  assets ，里面是 apk程序的一些数据文件， 在资源管理器下用 详细信息 方式查看，然后按照大小降序排列，一般情况下最大的前几个文件就是词库文件，例如 我看到的：
3 C9 f# F: E7 B    apk1:
            xingkai.ttf
        story.dll
        apk2:
/ |8 u& P' ^7 ~; z4 v5 h1 ?% M            dictionary.dll
当然，都是穿着马甲的。
1 J% A9 j0 b$ b$ v    用ultraedit打开，可以看到：
, a2 K  Z  U% {4 }2 H7 ?( Z        伪装成 字体文件的 xingkai.ttf 实际打头的字节是 PK，那么，他就是一个zip文件，把他更名为 xingkai.zip，解压缩，得到
3 G# V% o/ J4 n# u        bushou,dat  nxbzdxh.apk, nxbxd.apk nxbchina.dat ，这几个文件是用扩展名穿的马甲，用ultraedit一一查看，好了，均是SQLite format打头，那么，这四个文件都是 SQLite格式的数据库文件，将他们均改名为 *.db文件，用SQLiteDev.exe查看，成功打开，分别是 部首词库，新华字典， 汉语词典 成语词典。
    伪装成系统文件的 story.dll 文件用emeditor打开，发现就是一个文本文件，当然，是unicode格式的，用一般的文本查看，是乱码。
# E4 w, m; q: s    伪装成系统文件的dictionary.dll用ultraedit打开，也是pk打头，更名为zip文件，解压，看到xinhua.db xiandai.db，用ultraedit查看，都是        SQLite format，这个倒是干脆，懒得二次伪装了，那就不客气了，收下！ 用SQLiteDev.exe查看，分别是新华字典词库，汉语词组库（包括成语，词组，故事）.
        这就是通过两个apk文件，得到两个几乎一样的现代汉语词典第六版词库的方法。
2.
9 y! s" T& q6 W+ `* \" m得到 SQLite格式的词库，虽然可以用SQLiteDev.exe查看，编辑等，但毕竟很不方便，我也没有认真研究SQLiteDev的心思。毕竟做不少特殊的工作，用通用程序SQLiteDev是无法满足要求的，因此，还是自己着手编程来的灵活。 这就是SqLite2MDB.exe(下面简称sq)编制的初衷。
通过sq，将sqlite格式转成我熟悉的mdb格式，就可以用以前的积累，灵活处理了。sqlite数据库的处理源代码可到 www.codeproject.com中搜索。
5 U  u3 f' a+ U1 _通过sq, 可选择sqlite数据库中的一个或多个表格，转化成的mdb文件也将以同样的名称创建这些表格。此时得到的mdb词库和原来的sqlite格式是一样的，并没有做什么处理。 相当多的字段都是乱码或者无法识别的16进制数字。
3.
通过sq,可以将2中转换出来的mdb数据库加载，在列表中可以看到10条或者更多的记录。一般情况下，有很多字段都是乱码或者无法识别的16进制数字，分两种情况：
乱码字段：这些一般是unicode编码，此时可以点击unicode ->ansi，就会将每一个记录对应的该字段转化成可以识别的字符。注意，转换之前备份一下mdb文件，这个不可逆转啊。转换前请选择要转换的一个或者多个字段。
( v. f: ]! R0 L; C无法识别的16进制数字字段：这些一般是utf8编码，此时可以点击UTF8 ->ANSI，就会将每一个记录对应的该字段转化成可以识别的字符。
2 N& E9 `+ N7 u可能有些软件将这些词库做成加密的或者通过什么算法处理过了，对不起，只能放弃了。
2 S( u# J# v0 ?% J6 f" H可能得到了几个数据库文件，可以都转换成mdb文件，然后用microsofit access打开并合并，这个多个数据库的合并我就没有做到程序中，很繁杂，我也觉得没必要。
得到的词库，大多表格名称或者表格的某些字段名称不合意，可以在access中更改，删除等，整到自己满意为止。
4. 转换成mdx词库文本文件.
$ J6 d2 v1 w* w/ B7 `* r: g这个应该是大家最关注的。
转换前要明确一些任务：(当然，直接ok, ok下去，也会得到一个缺省的mdx文本).
4 w, x& R: G  f3 ~' S  b+ X- f# f    (1) 要将mdb文件中的哪些表格转到mdx中。 例如，mdb中新华字典，成语词典，现代汉语词典等，可以选择一个或者多个。
  (2) 针对某一个表格，要将哪些字段的内容转到mdx中。 例如新华字典有 _id  汉字 拼音 解释等字段，_id是为了排序需要加的，没有必要出现在mdx中，可以勾掉。 如果不处理，就是选择所有字段。
  (3)针对某一个表格，要将哪些字段的内容作为索引。 例如新华字典，希望做成的mdx文件，以 汉字 字段为索引，没人愿意以 1  2 3 4 .....为索引，mdict 搜索的时候，左列如果一堆数字除了挠头有啥用。  索引字段也要勾选，不勾选默认是第0个字段。
  c3 L( t0 E3 T" Y操作步骤：
  a. 打开一个mdb文件，将(2) (3)中的工作做好，注意是对每一个表格都要做，程序中会记住你的选择。
3 A2 M, H3 t7 @0 J9 c  b. 选择表格。
  c. 点击 mdb转换成mdx文本 按钮即可。
: v4 P7 M9 C9 u注意：生成两个文件（例如选择了表格 xhzd)，xhzd.txt     xhzd_info.txt。前者为mdx文本文件，后者是mdx文件的“关于词典”时出现的内容，里面是一些信息，包含，文本从哪些表格转换而来，有多少记录，转换的时间，转换作者（用过mdcit的都知道把，就是:about后出现的)。  xhzd.txt 是纯文本方式，如果原来的词库含有声音、图片等复杂格式，此程序概莫能助。

  R7 k0 m2 k  u4 g% c5. 有了mdx文本，用mdxbuilder即可转换成mdx文件，可将xhzd_info.txt的内容粘帖到mdxbuilder 的 Description 后的编辑框中，当然可以贴上自己的内容。

Langheping

The best. I missed this post.

999阿彌陀佛

好资源！谢谢楼主的分享

lixun305

7 S3 p5 @  V) D+ n二楼等着传连接。。。
5 V3 p: A' X# B! E4 B' B
http://pan.baidu.com/s/1dDBw44D
# W: ?  n# d0 b& F. r
' @, v$ `1 h5 I/ e

yuwb

楼主辛苦了。

bbkbbk

% q6 A. N: Z9 e8 b6 `
7 ]$ l, s+ `5 T+ h楼主一片热心，值得称道。然而说到mdx“固有缺陷”，让人感到茫然。
( I; T  r7 `9 p, U; S7 `电子词典，就是数字化的纸质词典，尽管格式繁多，如mdx、bgl、dsl、lsd、dict……但区别不过是排版标签，如mdx直接使用html标签、dsl使用另一套标签……无论哪种格式，其检索方式都是一样的，都是延续了传统纸质词典的检索方式。这个“固有缺陷”看来生命力挺顽强。
) O, L; L2 I, D9 o! k电子词典存储格式，与数据库相比，简单得多，可以看成一张只有两个字段（词头为主键，词条内容）的表，而且只能按词头来检索，所以一些电子词典干脆直接存储在sqlite数据库里（我们用的一些mdx词库就是从那里提取的）。
楼主要是想将诗集这种主键≥2个字段的数据库做成词库，就得遵守词库的规则嘛，你要是把作者和题目两个字段放在一起作为词头，保准能直接检索到某位作者的某一首诗。
0 n3 t! \5 ~. [9 w9 Q/ b0 i/ P再者，对于这些不太适合做成词典格式的数据，生搬硬套难免驴唇不对马嘴，不妨做成sqlite数据库，在android上写个简单的shell就可以实现各种高级的检索了，不会占用太大的手机资源吧。

a200166

谢谢提供，不错的做法。

lixun305

9 [% z" o9 l3 S: g7 M* t2 H

bbkbbk 发表于 2014-2-6 19:09
楼主一片热心，值得称道。然而说到mdx“固有缺陷”，让人感到茫然。
电子词典，就是数字化的纸质词典，尽管 ...

& H3 H5 ~3 s' H  w对不起，前面发言唐突了。 我实在是对mdx文件格式没有什么了解，所以都是瞎说，请勿见怪。 我的意思是要实现高级查找，做一个查找方便的shell，也要数据库文件本身支持才行。 例如：我要查诗词总汇，查李白所做的题目中含有庐山的诗词，如何查。 层主用 作者 + 题目作为索引，似乎是能解决一些问题，但很有限。 例如，我提的这个似乎无法实现，因为，对题目中含有庐山这一查找，是要实现非 从头匹配，例如：望庐山瀑布可以，庐山谣寄卢侍御虚舟 也可以，赠王判官时余归隐居庐山屏风叠 也可以，凡10余首。 mdx将其它除了索引字段揉在一起，构成内容，有时就非常庞大，如果按照内容查找，将很耗时。 再有： 诗词总汇中 作者苏轼 ，题目为菩萨蛮的就有21首，mdx将作者+题目作为索引也力有未逮，似乎将作者+题目+第一句作为索引可以做到，但这样的索引就很难受了。   
* E8 _7 D2 p+ M* f" E# d* ]" Z    再次强调，我对mdx格式没有啥了解，错误之处，请谅解，绝无贬低mdx or mdict之意。
   
7 l% s( I  b9 s7 N7 _8 p  U2 |    sqlite 正在研究，也从一些apk文件中析出一些sqlite格式的词库，想将其转成mdb或者mdx，正在做，目前了解还很肤浅，似乎sqlite也是多字段的，关系数据库模式，一些shell， 例如网上的 现代汉语词典.apk，查找检索还是很方便的，虽然有广告。

诗词文件12M多，应该比较小。

lixun305

游客 60.191.116.x 发表于 2014-2-7 10:22
8 g7 u/ |8 J$ H( n诗词文件12M多，应该比较小。

& w! E8 `& E( ~$ ^" |. w
确实。 我将掌上百科的 诗词总汇(繁体).mdx 转换成mdb之后，达到120多M，里面大量的是html的脚本文本，就是 <   > 之间的东西。 即便如此，mdx也是相当优秀的，含有这么多格式，mdx硬是才50多M，同chm格式有得一拼，真的是压缩比率很高啊。 我把所有格式抠掉之后，再转成mdx，就非常客观了，内容真是没有减损，请大家相信。

bbkbbk

) ~& y* F; ]% l
1.模糊查询、正则查询更多靠的是软件吧，数据格式都是差不多的，全文检索都能实现，这就要看程序设计的能力了，应该在代码上下功夫（当然还要在充分了解数据格式的基础上来做，否则任何努力都毫无意义）。看看这位高人的杰作：
https://pdawiki.com/forum/forum.php?mod=viewthread&tid=11381&mobile=yes
2.词条合并，将同一作者、同题目作品合并到一个词条。
5 t$ |$ o& }/ i& q# [3.sqlite数据库很优秀了，跨平台，可以内嵌到多种语言中，可以取代mdb了。mdx作为词典数据格式已经十分完美，想要实现高级检索功能，要在软件上下功夫了。

lixun305

5 J( W% C( r8 J2 m% V  s6 }

bbkbbk 发表于 2014-2-7 17:16
# S5 w% x/ k' {3 _1 m1.模糊查询、正则查询更多靠的是软件吧，数据格式都是差不多的，全文检索都能实现，这就要看程序设计的能力 ...

1 Y8 `7 u* x# h) A7 R好的，领教了。 我感兴趣的是各个格式的转换及pc下shell的编制，一直在做。

# C9 u& E* ^! @1 R4 l  b8 r4 _% _https://pdawiki.com/forum/forum. ... 1381&mobile=yes  打开怎么是论坛首页？

bbkbbk

6 Y0 u& x# s3 h" O0 N

lixun305 发表于 2014-2-7 19:00
好的，领教了。 我感兴趣的是各个格式的转换及pc下shell的编制，一直在做。
& _5 |3 p7 R' o8 Z# |: ~
9 u7 C- y5 R+ Y4 thttps://pdawiki.com/for ...

汗……我是用手机上网……
你把链接最后mobile＝yes去掉就可以吧。或者去安卓学习小园地版块，spoony1971的帖子，你也许看过。

lixun305

bbkbbk 发表于 2014-2-7 19:15
汗……我是用手机上网……
* t- q) D, U$ i6 G  O你把链接最后mobile＝yes去掉就可以吧。或者去安卓学习小园地版块，spoony1 ...

, d) c4 P& z" R0 z% z- m我是pc端的shell，负责格式(mdb xls mdx dict txt)转mdb格式，进而也可以转成mdx，手机上应该可用。我也不懂android下编程，也没兴趣搞。

经典与古典

如听天书 除了汗颜 更有尊敬 多谢几位

cnzj999

感谢分享，不过我核对了一下，应该不是第六版的，百度下第六版的新词没有出现在词典内。
不过词典还是很好用，谢谢了

sbitionliu

好资源一定要大力支持，谢谢

lixun305

回复  cnzj999:
+ u% Q6 D4 O4 ^3 Z# x( Q! z2 |感谢分享，不过我核对了一下，应该不是第六版的，百度下第六版的新词没有出现在词典内。
不过词典还是很好用，谢谢了
: r+ [0 O' w2 y# X9 f
这个问题我也一直很困惑，得到词库之后，我认真核实过，确实比第五版有了很大的改动，收词也很多，例如我印象深刻的 “燃油”，这个词组第五版是没有的，并且很多的词典都没有，但这里有，所以，我就认为是第六版的，并且也确实是从号称 第六版 的手机词典软件中提取出来的。 粗略收词（包括 单字，词组，成语，成语故事）10多万条，虽然有不少重复，但是这些重复有些是补充解释，有些确实重复，但扣除重复，也不会少，应和 现代汉语词典第六版不相上下，况且，里面的解释，特别是单字的详细解释，很全面，这也是得益于不劳而获，:p...   
7 e9 C7 z0 K: x5 o. W   
2 Q2 U7 u. C, L+ Y+ R

liuyunrushui

非常不错的词典！

9 i- V4 N  B: C2 T& Y支持并感谢楼主！
% `, U9 J" }) I$ D0 [
不知道楼主的方法能否用于转换ipa格式的词库呢？
- Z* f2 N$ T. ]& {3 i
期待楼主出一个详细的教程，造福大家O(∩_∩)O多谢多谢!

heda106

第六版的扫描版网上好像还没见到过。不知道那些软件从何处弄的

lixun305

, k' O# G+ s8 p1 s" _
对不起楼上各位。做的时候，成语词典的 英文 字段，有些字符是乱码，因为，在原数据库中，英文和这些字符都是unicode编码，而英文是直接可认的，不是乱码，所以，我只看了前面几个，就没有将该字段转成ansi。  我已经重新制作，请重新下载，抱歉~

lixun305

! v9 v. @/ ^0 p' @

liuyunrushui 发表于 2014-2-11 23:46
. U5 ?$ I3 |: k( e7 u非常不错的词典！

支持并感谢楼主！

* ?6 E& L. f+ f* }* t& w
% @/ u! @5 Q/ M' i对不起，回复晚了，昨天怎么点击回复都没反应，今天才发现原来是sogou浏览器的原因，用IE没事了，真....。

* [9 K8 J! s; L! j2 H详细制作过程陆续上传中，会看到的。13楼。

6 I' _. k7 X* [; U1 Dipa格式我还是第一次听说，不知如何读写，你有解码代码吗（c源代码之类的），或者有什么软件能将它转换成mdb格式也可以。 如果是源码，我可以将他潜入到我的程序中。

lixun305

heda106 发表于 2014-2-12 09:10
+ F/ V! A) C8 r* A$ D: S8 y! A第六版的扫描版网上好像还没见到过。不知道那些软件从何处弄的

这个到百度移动搜索（搜索应用）上，输入现代汉语词典，列出很多，其中尺寸越大的越好（例如19M, 20多M)。 下载apk文件（不要下载到手机），用我13楼的方法就可以得到。不一定通用。
1 O; l' S$ u# Y% N8 t我觉得这个是手机软件厂家自己录入或者通过什么渠道得到的。这些词库和纸质的现代汉语词典6还是有些区别，不过，更多的是扩充的，更详尽。

liuyunrushui

lixun305 发表于 2014-2-12 10:53
对不起，回复晚了，昨天怎么点击回复都没反应，今天才发现原来是sogou浏览器的原因，用IE没事了，真... ...

楼主您好！感谢您的回复。
7 k+ a# e, V3 [7 v
ipa是ipad/iphone等苹果设备上安装程序的扩展名，也可以用7-zip解压，得到相关数据文件。我下载了几个ipa格式的日语相关词典，有一个解压后得到扩展名为.db文件，用EmEditor打开后打头提示为SQLite format3格式，后续我就不知道该如何操作啦！直接用EmEditor打开.db的话是一堆乱码，无从编辑-_-||。

, b8 @1 A. Z$ k1 Q期待楼主的教程。

4 z. ~0 Y. d( d" F& X" A0 N% I3 jps：网上还是有蛮多ipa的词典的，想必其中也有不少是.db数据库格式的，如果可以提取数据的话，mdict大家族就又有很多新成员啦！期待期待！
6 a: O1 L0 ~' P7 Z' R0 q  o1 x! R" T
) K: k$ c: S$ `对啦，我的ipa是从以下网站下载的：http://www.51ipa.com/plus/search.php?q=%B4%CA%B5%E4&searchtype=title

lixun305

liuyunrushui 发表于 2014-2-12 11:54
" P. W' K; G: C. T8 A$ b8 h楼主您好！感谢您的回复。
9 ^( E+ t- ^  U
ipa是ipad/iphone等苹果设备上安装程序的扩展名，也可以用7-zip解压，得到相 ...

sqlite格式我已经搞明白了，只不过没有做很多的测试。我这个词典就是从sqlite格式转换而来，等程序完善了，我上传到网上（程序主要功能：打开sqlite数据库，可转换成mdb；打开mdb格式，可转换成mdx文本）。 你说的这些词库，到时候自己转吧，有啥新颖的不妨上传上来。  程序名：SqLite2MDB

dingweifengye

非常感谢楼主的分享!支持...