准备发布 fastwik-zim, 用于转换 zim 格式的文件

fastwiki

fastwiki-zim 已经开发完成, 目前进入了非常细的格式调整, 所以在此请大家进行测试反馈.
0 o) h7 T8 s. L* K9 k
维基百科软件 kiwix 发布了许多语言的维基百科离线数据包, 详见:
1 `' s6 K& W+ v2 b. a- Shttp://download.kiwix.org/zim/wikipedia/?C=M;O=D
4 z$ [8 v, U* u8 d) N$ C1 ^http://www.kiwix.org

- E0 K$ @. p/ Q! @3 R这些文件比较大, 无法用于版本比较低的手机, 并且 android 的 kiwix 只支持 android 3.0 及以上版本.
另外, 最关键的是, kiwix 制作的维基百科与网站几乎一模一样, 真是非常完美, 因此, 有必要提供转换工具 fastwiki-zim 专门用于转换 zim 文件.

所以, 如有兴趣进行测试并反馈的, 可以先下载 zim 文件, 中文版的带图文件有 12G, simple english 有 1.7G, 也可以在百度网盘下载:
http://pan.baidu.com/share/link? ... ir/path=%2Ffastwiki
8 \' p8 c6 ^! z进入 zim 目录就对了. 由于这些文件比较大, 所以大家可先下载, 等大家下载完了, 就能直接转换了.

目前 fastwiki-zim 转换 wikipedia_zh_all_12_2013.zim 耗时 14分钟, 转换 wikipedia_en_all_02_2014.zim 耗时 120分钟.
3 N$ o3 T& g1 P) S

tedaz

其实kiwix也不完美，主要问题是丢词条入口，不知道是kiwix的问题，还是它的zim数据库问题。
已经提交了一个bug了，比如安卓平台的kiwix软件+最新的zim英文数据库，手机上输入“ITX”并不能正常列出以itx开头的词条。但是在kiwix网站上则可以列出itx开头的词条。类似的有问题的词条还非常非常多，可能英文wiki中超过10%的词条都不能被查询到，使用非常不方便。
% r8 _( C/ {( x8 q+ i. \
: P0 Q2 r" I" a: r: g; D) L& k类似的词还有”ZBAA“……
$ y8 R9 h& G: z1 L4 T" U- k
以上是kiwix的最大的问题。

fastwiki

tedaz 发表于 2014-3-9 10:25
" Y$ U- R3 X$ `$ _3 z, A7 [1 p9 n! N( u其实kiwix也不完美，主要问题是丢词条入口，不知道是kiwix的问题，还是它的zim数据库问题。
3 c# U" |5 c  B; g7 I已经提交了一个 ...

' n5 a$ Y+ @: c0 x1 p5 {2 J: C3 S* P
应该是 kiwix 的索引问题,  
fastwiki-zim 转换了  wikipedia_en_all_02_2014.zim ,  使用 fastwiki-httpd 进行测试,
, H8 ]& e3 E/ c查找 "ITX" 和 "ZBAA" 都没问题, 你有没有兴趣下载这个 zim 帮忙测试一下?
& m8 y" |( [0 S+ P! M6 o* t
不过, 转换后比 zim 大 9G, 共 49G, 主要原因是 kiwix 的页面中有许多内容是重复的,
9 x- m- B: ^! |/ b5 w6 j% @而 kiwix 使用的压缩块比较大, 所以它能压缩得比较小. 而 fastwiki 使用的压缩块很小,
所以压缩后整体上变大了. 小的压缩块的优点是查找快.
' ~' q- z; {1 J1 h, H# a

skydan05

了不起！！！谢谢LZ！！！

tedaz

fastwiki 发表于 2014-3-10 13:17
+ p% ~4 |( Y9 n7 i应该是 kiwix 的索引问题,  
0 }4 _2 ~8 Z( Kfastwiki-zim 转换了  wikipedia_en_all_02_2014.zim ,  使用 fastwiki-h ...

我觉得有可能是“wikipedia_en_all_nopic_01_2014.zim”有问题，请问如何把zim转换成fastwiki的格式？没找到工具下载。

fastwiki

tedaz 发表于 2014-3-10 20:04
我觉得有可能是“wikipedia_en_all_nopic_01_2014.zim”有问题，请问如何把zim转换成fastwiki的格式？没找 ...

  O9 c2 q0 x8 g  R& d! l
应该是 wikipedia_en_all_nopic_01_2014.zim 的索引问题, 它的数据是对的.
不过 fastwiki-zim 没有用它的索引.
fastwiki-zim 刚刚发布, 欢迎使用和测试.

6 W6 ^$ ~9 p% A7 ]1 t: I* [

tedaz

fastwiki 发表于 2014-3-11 12:23
应该是 wikipedia_en_all_nopic_01_2014.zim 的索引问题, 它的数据是对的.
& p1 S) Z& C2 K: u; [- j0 {! J/ L. ^不过 fastwiki-zim 没有用它 ...

% B2 g$ H& T1 b* Qfastwiki-zim转换出错了。源文件大约11.7GB，转出了0，1，2，3四个文件，其中后缀为.3的文件大小仅100多MB时就出错了。能在程序中加个异常处理，比如遇到异常时就写个log文件出来吗？

zjzengdongyang

" m% d# D, Z" Y5 E5 |其实他的zim并非完美,在2013\2014年的中文zim中,有一些标签没有处理(中文特有如:{zh-cn:误区; zh-hant:誤解;}格式{zh-cn:...; zh-hant:...;}).

zjzengdongyang

解释一下
0 _9 r0 H6 y' n* b# E5 n8 dC:\Documents and Settings\Administrator>H:\msys2\zim\fastwiki-zim-1.0-beta5.exe
-l en -d 201407 -f H:\msys2\zim\libstdc++-api.zim
total[0] = 849
all count=36962307, read_count=0, error=17695105
PUB: fastwiki.math.en.201407 count=0, error=17695105
done.