Python辅助MDX转MOBI（以AHD5th为例）

nullname

( i: ^) ^' E. }6 c
8 j1 B% B% y, [' ]5 X1 s4 t8 x! ^一、前言
2 e4 Z, b1 {( W
本篇文章的所有部分均来源于书伴的《如何把 MDX 格式词典转换成 Kindle 字典》 ，只是仅通过该教程的方法所转出来的词典基本没法用，原因是Kindle不支持@LINK跳转、不需要音频、以及需要添加Kindle支持的变形词搜索功能。经过几天的摸索，逐渐有了点头绪，并制作了AHD5th，试用两天后觉得尚可。便于昨天发布。帖子见此：[Kindle词典]美国传统词典American Heritage Dictionary 5th（精制版）。

7 C' X8 d! H5 t6 s: W8 h+ E本文章展示如何通过Python来最大限度的优化以生成体验较好的Kindle MOBI词典，为各位提供一种思路，以期众人群策群力，制作出更多好用的Kindle词典。
5 o6 d* ^5 R0 J( j0 |0 v
为了文章的连续性和完整性，对于完全相同的部分将全文引用这篇文章《如何把 MDX 格式词典转换成 Kindle 字典》 的内容。
1 z  a9 ~! q- B, S

二、正文        
, u7 x/ g  K2 o& |4 M! Y/ v/ o9 y
6 H. U' A- s0 j2 P$ i书伴的这篇教程共有四步，还用到了一些工具。工具请自行下载，因下面所用的代码是Python 3的，所以除了Python 2 ，Python 3 也需要安装。第一步和第二步是一样的，不赘言，仅截一张图于此。
! X$ J: {  ]4 L7 |
9 B% f3 A7 i" j& K! m) L
) b+ T2 u( H% ~* K7 N/ p2 T


工具准备好后，选择你想转制的MDX词典（本文只针对英文词典，即英英/英汉），下面以论坛里的American Heritage Dictionary 5th [IPA]为例。

" K( J6 y3 W! v. x
! y& Q/ C0 r! ^经过第一步和第二步的处理，我们会得到一个体积较大（视MDX而定）的TXT文件。其内容格式应该是这样的：
/ y* ^$ G* ]; O


. G( m6 m' @/ ^' y

得到该TXT文件后，我们可以选择几行看一下或者搜索一下如".jpg", "<img", ".wav",="" ".mp3"之类的关键词，把图片和音频等等鸡肋全部删掉。同时，这类CSS引用也可以删掉，以减少文件体积，提高后续处理的速度。CSS引用可以在最后一步添加。比如随便看一下，扫一下就有这些：

3 o6 N8 h: j% w1 `
. b- A; V* U: v0 _


我用的是Notepad++，以下是我用来替换的正则表达式：
2 _" a! w) ?- q' Q
        图片：<img.*?>
        
        音频：<a href="sound://.*?"></a>

        注释行：<!--.*?-->
        
; i$ f  K( K% d) f( ~可能还有一些冗余的标签，视词典而定，比如我这里就有<span> </span>，直接全词匹配删掉即可。

我这里这样处理了一下之后，文件的体积直接下降了25%（约100MB --> 约75MB）。
  Y- B5 |# Y. X# T& G
简单处理完之后，便是正式处理@LINK跳转了。TXT文件的格式只有这两种：单词 + Tab + 意项  或者 单词 + Tab + @@@LINK=另一个单词

这里我们主要要将跳转词后@@@LINK的跳转链接替换成目标词的意项，因为Kindle不支持@LINK跳转。为方便后续称呼的方便，我在此做个定义。以开头两个词条为例：


7 P3 v9 b* C. c
3 ~/ ]1 P$ s/ F' Z

但是这里也要分情况，因为如果一股脑全部将@LINK跳转都替换为目标词意项的话，看起来简单。但实际上会导致文件的体积无比巨大，因为里面存在着大量的像这样的跳转：

5 Y  z- Z6 P. _


) y# [; V0 E6 O
仅仅是advocate这样一个词，就有七个变形词，它们的目标词都是一样的，如果只是粗暴的替换，那么最后生成的词典肯定无比庞大，甚至如果你内存低点最后都不够用来生成词典。（猜想而已，我没这么干过，有兴趣有空闲的朋友可以试试）
+ f! y: P. z/ ]6 i" z
因为Kindle词典支持为某个单词添加不同的变形词，利用这一特点，我们可以在此处判断，如果跳转词是目标词的一个简单变形，那就跳过该词条。判断的依据来源于dsl2mobi这个工具里面附带的英语单词变形词列表。文件名称：forms-EN.txt，内容如下：
. ]0 h) O( g2 c+ v" j0 w
8 Q4 T6 k8 g$ f( D. w  y
& [7 y7 ]" b6 ?: m
        

简单总结一下，做了个程序流程图：
; ~0 c$ _( D3 ]" n
3 G& r8 B2 z5 E* K" x

' i! u4 {7 D: m0 w# l

: o! g- A1 ~( J2 ~) k  x这是代码，你需要修改第3、4、5行的文件路径和第50、51行endswith方法和replace方法中的值改为你操作的字典的实际值。详细的内容请看注释。
9 N5 c" j, a  ^1 Z9 A; _


% f8 v% b; U+ G  X
+ n9 c5 X9 C/ i0 p

( m" Q: ~- l& B
! S* V) @5 P; H& a
注意：Fix_Redirections.py有一个同级文件夹wordforms，文件夹内有forms-EN.txt，请勿修改。
1 M0 o, ^1 n' q9 T
1 X; G6 ]" u( f, X
修改完了然后执行代码，你看到的图应该是这样的：
. x8 D* \+ ]/ h& v; {
7 z, Q" ]& ~/ _1 n8 v5 G

6 z9 }6 D. B+ _5 t5 i1 F( J5 ]7 ^
( H) C! d2 k, K/ T" V7 n9 s
% `( c0 }6 i! }" I2 m: a% o- z这一过程的速度取决于你的电脑配置和词典的词头数，我跑这部AHD大概花了大半天的功夫。
7 N; M( A- F3 L$ o$ o
* t! j$ A$ t$ r跑完之后的文件可能存在很多空行（不一定，看词典），这里附上一个去空行的脚本，使用方法：
: @7 F! O% z/ r9 T; m+ U/ @


2 j  N  b8 @4 k, {# Q' [
, }8 h. S, k* h6 R4 i, V


. h) w2 A1 F) A执行完成后会在处理的文件目录下生成一个名字带_stripped的文件，这就是去除了空行的文件。

- v5 M/ Q$ B5 Y, C4 v
( s& f7 U% B9 w


这时候可以打开文件看一看，应该是满屏紧凑，没有空行，没有@LINK跳转的，就像这样：
: k* S7 K# w, y: U6 C- u0 a5 V

# X" M) M  C9 }+ \2 s0 L: b& B
2 u5 ?. C( `5 k& x7 v

. R% {5 `. d% i8 @) v到了这里，就可以开始正式进行第三步了。这里用到的是tab2opf.py这个工具，该工具基于py2，所以要用py2来执行。从书伴直接下载的tab2opf虽然没问题，但是根据我的经验，把253行的print df给注释掉，速度会提升许多，而且出错的机率也会减少。除此之外，由于词典的不规范及其他特殊原因，我们上述生成的xxx_stripped.txt难免会有几个或十几个错误行（MDX词典本身的问题），因此，最好加一个异常处理的块，遇到错误行直接提示一下就跳过，免得程序中止运行，你们可以参照下图修改，注意红色箭头的地方。

7 l, {9 |$ Q% @2 c3 Y$ |' P( m3 z

+ G2 k* u3 p9 O  ^9 g7 ]
" ^0 L3 W7 Z0 P' v' d5 E
- t0 ?+ O6 {8 X$ V% G然后执行命令：python2 tab2opf.py -utf xxx_stripped.txt

0 M) b3 X7 K1 r# o执行完毕后会生成一个opf文件和一堆html文件，如下图所示：


% m+ ?% o# q4 |! U0 k) Z
9 g. q, f4 @9 H- v7 J* g  F- E6 O

( R2 c! U! y& V! Z1 J5 C在进行下一步之前，我们还得写好CSS，我的电脑配置不行，打开太大的HTML文件很卡很卡，因此我提取一些意项较多的词条来单独修改建议"go", "take", "in", "the"等，这里我提取“go”词条，复制"go"词条所在的一整块<idx:entry> </idx:entry>，然后加上头和尾（头尾可在任意一个html文件中复制即可），保存为html即可。如图所示：
9 I3 O" P4 R/ p0 T) m7 H: V
2 a2 N- {/ e; z
* N# e$ J* R9 g: D* r
/ S8 f9 f% H% i$ x( y9 a+ ~, M

5 \: R; t, A: ~/ p& v% I因为我们要测试css，所以再添加一个head标签并在其中用link标签引用一个css文件，然后就可以写css了。
& d/ \2 Y. O. X9 z
# R7 v, R( U/ N* B5 I


0 B1 ]2 c2 P! l& E: Y
7 ~- ~1 J* q2 s: \MOBI的字典只能生成v7版本，该版本对CSS的支持极其有限，margin只支持left其他方向都不支持，即使是看起来有效的margin-left，也不过是在转化过程中替换为blockquote而已。所以只考虑粗体、斜体、下划线和颜色即可，当然不管这里用什么颜色，Kindle上都是浅灰色。
. k! B$ U) d! V$ X  c" u' T6 y
这是我修改完毕后的效果。

( b; K8 c  \# h
0 M0 V+ \3 w. n9 q2 X

6 r7 b; E0 d* ^$ ~5 R
css满意后，那就可以给所有的html文件批量添加link引用了，这里notepad++可以单独完成，就不写脚本了。方法如下：
* O( F( [7 T9 q9 p# [. `; U
8 z$ H: y6 G- _+ }  l, l打开任意一个html，Ctrl + F，然后切换到文件查找选项卡，下面注意选择正则表达式，如图所示：
/ u; M- {6 K' D/ {9 _! E9 Z+ B  C
6 V; `# u" h0 C. c. q2 \; `




- B( v  f/ I2 G  k. m( h, d查找目标： (<html.*?>)

替换为：\1<head><link rel="stylesheet" type="text/css" href="test.css" /></head>

文件类型：*.html

! f( ~: O: ~% L& z1 ~目录：即html文件所在的目录

6 }. Z+ ~5 b. B" @! x

然后点击文件中替换即可，这样，所有HTML都添加了CSS引用了。
8 `; E' {6 T' ]0 I' q3 e
现在到了另一个重要时刻了：为即将生成的Kindle词典添加变形词，原理就是检测forms-en.txt里面的单词然后提取出变形词添加进去，上面说过了，此处不再赘言。

, n$ q. ?0 L, S+ s& H代码很长，不贴了。用法很简单：Add_Infl.py html文件所在的目录
$ [5 ?- s. s( ~( z. n7 g


! i' z% x; o) @4 e- T' [2 x

& N% K# t" X3 f文件在此，解压后其他文件和文件夹勿动，以免程序不能正常运行。


8 I  Y# }6 Y/ X9 @
. H5 |$ j! M  s5 I然后会在目录下生成一个名为OK的新目录，新的HTML文件即在此。
. G' b* G5 P" K3 Q8 K: w: ]; I
; X9 k1 ]; j( u& p最后就是把之前的opf和css复制进去，然后用mobigen.exe生成即可，mobigen.exe -unicode xxxx.opf
" W4 H0 r6 ]$ F8 p& V6 U
! ]% o" t- X" x! \0 ~' R如果你想修改生成后的词典名称，打开opf，修改这一行即可

4 a  G- b9 Y$ g" U2 k# G, L
, I% z& j4 O1 y2 C/ }  U

3 O4 U# G3 N# o; A# n  G6 Y, i
$ K) r7 E' V. P- y完。
3 Y1 w& R$ i9 B( N9 c) O; J) z4 b
三、结束
+ j+ z. B1 y+ a$ G: ~
第一次写这种教程帖，步骤、截图等等都很繁琐，几次我都差点晕了。简单看了几遍，算不上流畅但也不至于晦涩。若诸位有什么问题或发现什么错误也可以在下面回复，希望能有更多优秀的Kindle词典出现。

  G. p- S+ t2 ?3 d2 y5 w+ [9 c另外：关于Kindle上的汉语词典，我发现kindle支持将繁体作为简体的变形词，意味着若处理得当，那就直接为简体词头添加繁体的变形就够了，不必再另添词条，词典体积将大大减少。各位有兴趣可以试试。

卡拉奇

这种技术贴，要好好给楼主点赞

wrscn

技术文章，不错。

Gyngreenlie

给技术型楼主，点赞。

cocowind

过程详细，及时总结惠己惠人

999阿彌陀佛

这种技术贴，要好好给楼主点赞，惠人以漁！

Wallacebai

喜欢技术贴， 感谢楼主。

陟彼高冈

大妙好！！！！！！！！！！！