挑战巨大词典 ②

zzzz_sleep

" l: F: J4 |; G* s1 O; ~
这次目标：
2 `- T, Q! v/ \

1. 2.4G Mar 28 14:51 enwiki-20160601-part1.mdx
   
2. 2.3G Mar 28 14:30 enwiki-20160601-part2.mdx
   
3. 2.2G Mar 28 14:41 enwiki-20160601-part3.mdx
   
4. 2.1G Mar 28 14:32 enwiki-20160601-part4.mdx
   % A0 ~6 Z3 p5 c& w4 }
5. 2.0G Mar 28 14:02 enwiki-20160601-part5.mdx
   
6. 1.3G Mar 28 13:15 enwiki-20160601-part6.mdx
     O0 `- k% P' g# E5 B
7. 157M Mar 28 13:13 enwiki-20160601-part5.mdd
   * v; b1 i5 ^1 m9 |
8. 157M Mar 28 11:25 enwiki-20160601-part6.mdd

复制代码

6 个 MDX 文件，2个 MDD 文件
电脑基本硬件：
; N( R4 @8 [8 b# b/ c/ e3 h

1. Intel Core i5-5300U @ 4x 2.295GHz
   
2. 8G Ram
   * h1 X" k4 i% o  [* m0 x
3. SSD HD

复制代码

先来简单的， MDD 文件

1. 163979226 Mar 28 13:13 enwiki-20160601-part5.mdd
   4 K3 F0 H: [7 q
2. 163979226 Mar 28 11:25 enwiki-20160601-part6.mdd

复制代码

解包到用一目录下

1. mdict -x enwiki-20160601-part5.mdd -d mdd/
   
2. 100%|█████████████████████████████████████| 352768/352768 [37:10<00:00, 158.18rec/s]
   
3. mdict -x enwiki-20160601-part6.mdd  -d  mdd/
   , D' d& V; j/ |) s
4. 100%|█████████████████████████████████████| 352768/352768 [36:40<00:00, 160.34rec/s]

复制代码

, _3 |3 N+ Z9 d 两个MDD文件大小一样，条目数一样，什么问题？
: Z' _& b; H. p2 p, f" A7 E 估计 part5.mdx 和 part6.mdx 都需要 mdd 文件，但两个 mdx 都太大了，无法合并在一起，只能分成两个，mdd 文件也只能同样的复制一份

" l, k" a* \2 \9 @% d+ P: ]3 C重新打包资源文件

1. mdict -c temp/enwiki.mdd mdd/
     Z9 C! t' \; J8 j( T* H+ f
2. Scan "mdd/": 352768
   
3. Pack to "temp/enwiki.mdd"
   
4. 100%|█████████████████████████████████████| 352768/352768 [29:58<00:00, 196.12rec/s]

复制代码

1. ls -lh temp/enwiki.mdd
   
2. 157M Mar 30 06:59 enwiki.mdd

复制代码

无压力，主要看 MDX 文件

1. 2.4G Mar 28 14:51 enwiki-20160601-part1.mdx
   3 b3 u5 F, ~  l7 T/ s: w1 T6 O9 j
2. 2.3G Mar 28 14:30 enwiki-20160601-part2.mdx
   + e7 A1 B- p$ n# c* V
3. 2.2G Mar 28 14:41 enwiki-20160601-part3.mdx
   # U3 w, H, A7 u) ]8 k0 Y9 }% K
4. 2.1G Mar 28 14:32 enwiki-20160601-part4.mdx
   8 o+ K9 R8 b  f" ]+ f6 E; x
5. 2.0G Mar 28 14:02 enwiki-20160601-part5.mdx
   
6. 1.3G Mar 28 13:15 enwiki-20160601-part6.mdx

复制代码

解包

1. mdict -x enwiki-20160601-part1.mdx -d temp/
   
2. 100%|████████████████████████████████████| 805657/805657 [01:58<00:00, 6793.37rec/s]
   
3. mdict -x enwiki-20160601-part2.mdx -d temp/
   0 J# b4 K' G  `7 S0 z# y; y
4. 100%|█████████████████████████████████| 1750061/1750061 [02:17<00:00, 12697.84rec/s]
   ; I) o: w% ]" q) }
5. mdict -x enwiki-20160601-part3.mdx -d temp/
   6 h- B5 M6 L8 m& B4 N
6. 100%|█████████████████████████████████| 2634700/2634700 [02:23<00:00, 18421.63rec/s]
   . N% T: Z9 j3 e7 e5 P7 F
7. mdict -x enwiki-20160601-part4.mdx -d temp/
   / k7 A" ~$ v1 {7 `4 H3 w9 H& k3 ]
8. 100%|█████████████████████████████████| 2848024/2848024 [02:25<00:00, 19566.66rec/s]
   8 s, K: p# ]2 L# S
9. mdict -x enwiki-20160601-part5.mdx -d temp/
   + j/ ~- O2 |0 W
10. 100%|█████████████████████████████████| 2681025/2681025 [02:21<00:00, 18995.08rec/s]
    
11. mdict -x enwiki-20160601-part6.mdx -d temp/
    
12. 100%|█████████████████████████████████| 1853213/1853213 [01:31<00:00, 20192.31rec/s]

复制代码

请大家观赏解压后 MDX 文件大小
* l$ z$ z4 v6 n6 {

1. 8.0G Mar 30 07:18 temp/enwiki-20160601-part1.mdx.txt
   ) @% h0 B+ C. Z7 `
2. 8.0G Mar 30 07:23 temp/enwiki-20160601-part2.mdx.txt
   8 f6 _1 D# [4 I3 r+ f% K4 X( z
3. 8.0G Mar 30 07:26 temp/enwiki-20160601-part3.mdx.txt
   
4. 8.0G Mar 30 07:30 temp/enwiki-20160601-part4.mdx.txt
   5 Y4 ?" c+ Y& E3 E
5. 8.0G Mar 30 07:33 temp/enwiki-20160601-part5.mdx.txt
   
6. 5.1G Mar 30 07:38 temp/enwiki-20160601-part6.mdx.txt

复制代码

总共 45G，够大了
8 f2 g! y! m  [% e8 o词条数目总计 805657 + 1750061 + 2634700 + 2848024 + 2681025 + 1853213 = 12572680
0 J, p$ X& I* N. c% A: M9 s
重点来了：重新打包，将这些打包到一起，形成一个 MDX 文件
4 b" H( {  \# d2 Z
) D$ P* m! x2 n) F+ |) n- }; }

1. mdict --title enwiki-20160601-part1.mdx.title.txt --description enwiki-20160601-part1.mdx.description.html  -a enwiki-20160601-part1.mdx.txt -a enwiki-20160601-part2.mdx.txt -a enwiki-20160601-part3.mdx.txt -a enwiki-20160601-part4.mdx.txt -a enwiki-20160601-part5.mdx.txt -a enwiki-20160601-part6.mdx.txt enwiki.mdx
   + U# ]# x9 J! ~* D9 s
2. Scan "enwiki-20160601-part1.mdx.txt": 805657
   
3. Scan "enwiki-20160601-part2.mdx.txt": 1750061
   ) k- C/ j) U! @5 D( ]7 \
4. Scan "enwiki-20160601-part3.mdx.txt": 2634700
   * b4 t  _  I; F' p
5. Scan "enwiki-20160601-part4.mdx.txt": 2848024
   
6. Scan "enwiki-20160601-part5.mdx.txt": 2681025
   " x+ u" |/ I, B' C6 j% }) h0 P
7. Scan "enwiki-20160601-part6.mdx.txt": 1853214
   
8. 
   
9. Pack to "enwiki.mdx"
   : i/ s) y& t" `9 g" L4 q
10. 100%|██████████████████████████████████| 12572681/12572681 [42:57<00:00, 4878.07rec/s]

复制代码

$ u9 u5 p" ^# y( O5 w打包过程：
1.  准备开始
; ~1 P6 n$ V! R, q+ W( |

+ s1 f; g2 s% ~9 g4 o2. 扫描词条，内存开始上升



5 i$ g' o5 E) t: s3. 内存很高了
3 T& k1 C0 [' H& q( u; O& V
  C  ^3 O; ]4 z5 @" \  q

4. 危机边缘

9 n4 V7 K& X, B0 a  J: n2 M
5. 扫描终于结束，差点崩溃，开始打包

2 b# {* V& b" E7 T2 s7 u
, O0 X6 Y9 i/ y7 K
6. 内存开始下降
# |! o' V& K5 n6 V7 Z# E1 S% v
+ Z. N9 b- g0 w2 S2 k

7. 打包继续，内存脱离危险区
: E) l* D7 d. g& }: O: H4 D; B* R
; P. b. @1 P* d% ^
. @) ~" ?( D# x2 ^* C% i" q  d) }: h8. 全部结束
6 K- @  d; `. u. ~+ I# [$ J

+ h8 y( z- p7 X4 `9 X( c, b- D最终结果

1. 157M Mar 30 06:59 enwiki.mdd
   
2. 13G Mar 30 09:30 enwiki.mdx

复制代码

; ?, {  Q  G6 W& `, j# k* D! _& D发现 part6 MDX 词条数量多了一个，不知道为什么，可能 TXT 格式有错误，顺便吐槽发现的错误

1. <link rel='stylesheet' type='text/css' href='wiki.css' />> <a href="entry://Quotatio
   
2. n mark">Quotation mark</a> {{R from symbol}}      两个 >> ，估计还有其他错误

复制代码

查询测试，"007: Casino Royale"

1. mdict -q "007: Casino Royale" enwiki.mdx
   ' h2 m9 C4 P; K
2. <link rel='stylesheet' type='text/css' href='wiki.css' />> <a href="entry://Casino Royale (2006 film)">Casino Royale (2006 film)</a>

复制代码

6 j, t+ o5 z: q1 H5 {, s) [5 j做了一天，累，休息去了。

Gyngreenlie

厉害。这得多大的意志力呀。MANY THANKS

BAT2018

你这是想证明什么？

thresh

编译这种文件还是至少16GB，最好32GB内存，分一部分做ramdisk来跑比较省心

zzzz_sleep

thresh 发表于 2019-3-31 02:18
编译这种文件还是至少16GB，最好32GB内存，分一部分做ramdisk来跑比较省心

说的对，16G为佳，32G更好
但对大多数坛友来说，16G内存的机器已经很少，32G的难见。从16G开始，已经属于专业级 PC
  p7 G  |& {+ H
一个问题，可以从软件或硬件两个方面解决。针对的时代不同，解决方案就不同，无法说那个好，那个坏，只能是适合。比如 mpeg 解码，386/486时代，是需要硬件解码器的。现在的视频播放，还是区分硬解码，软解码的
  ^( z- f# K" U' O5 L) V
我这个测试挑的都是极端情况，极端过了，日常也就不会有问题。只是为普通人考虑，毕竟做一个词典费时费力，多人协作，增加效率。

y8888

大字典考耐力与电脑。庆祝论坛又多一个mdx制作者。

theduck1968

thanks a lot ....

thresh

zzzz_sleep 发表于 2019-3-31 05:51
说的对，16G为佳，32G更好
4 R' ]3 s/ _9 ~2 O& ~% d7 A但对大多数坛友来说，16G内存的机器已经很少，32G的难见。从16G开始，已经属于 ...

6 C- U4 G+ R, x) F7 n' k6 b5 [7 [- E最近内存贵而已，前两年8G DDR3 一根200的白菜价还是有不少屯了货的。身边的电脑现在基本都是16G的，8G都是家用货了。工作不够用

920132111

静候佳音！