准备发布 fastwik-zim, 用于转换 zim 格式的文件

fastwiki

fastwiki-zim 已经开发完成, 目前进入了非常细的格式调整, 所以在此请大家进行测试反馈.
6 N( T: f% @4 k1 [& ^
+ V$ N  i  s$ `) Y. i维基百科软件 kiwix 发布了许多语言的维基百科离线数据包, 详见:
http://download.kiwix.org/zim/wikipedia/?C=M;O=D
http://www.kiwix.org

2 D1 ^: `5 j' |: R+ o这些文件比较大, 无法用于版本比较低的手机, 并且 android 的 kiwix 只支持 android 3.0 及以上版本.
另外, 最关键的是, kiwix 制作的维基百科与网站几乎一模一样, 真是非常完美, 因此, 有必要提供转换工具 fastwiki-zim 专门用于转换 zim 文件.
& O' ]( S# e) H1 @6 L
" x3 ?, p% a6 R; M; ?, n所以, 如有兴趣进行测试并反馈的, 可以先下载 zim 文件, 中文版的带图文件有 12G, simple english 有 1.7G, 也可以在百度网盘下载:
http://pan.baidu.com/share/link? ... ir/path=%2Ffastwiki
进入 zim 目录就对了. 由于这些文件比较大, 所以大家可先下载, 等大家下载完了, 就能直接转换了.
, Q" V- d0 X& D0 n. k
" `# J9 r! ?( e! _) l目前 fastwiki-zim 转换 wikipedia_zh_all_12_2013.zim 耗时 14分钟, 转换 wikipedia_en_all_02_2014.zim 耗时 120分钟.
& w& k' a+ h- ^+ m

tedaz

其实kiwix也不完美，主要问题是丢词条入口，不知道是kiwix的问题，还是它的zim数据库问题。
$ _: ^4 C% B: ^7 J( U$ F已经提交了一个bug了，比如安卓平台的kiwix软件+最新的zim英文数据库，手机上输入“ITX”并不能正常列出以itx开头的词条。但是在kiwix网站上则可以列出itx开头的词条。类似的有问题的词条还非常非常多，可能英文wiki中超过10%的词条都不能被查询到，使用非常不方便。
1 K6 r/ _# d( ]) B2 Q9 |
类似的词还有”ZBAA“……
) t9 w& v7 \3 z% D1 ^
以上是kiwix的最大的问题。

fastwiki

tedaz 发表于 2014-3-9 10:25
0 Q" D7 H1 o3 w/ [其实kiwix也不完美，主要问题是丢词条入口，不知道是kiwix的问题，还是它的zim数据库问题。
, f7 s" M( U( h; Y( {0 t! K% O已经提交了一个 ...

& P# L  N2 l  |/ S2 f& c1 a
: L5 U: E- }8 S应该是 kiwix 的索引问题,  
' ^& ?5 q8 g* S9 H, kfastwiki-zim 转换了  wikipedia_en_all_02_2014.zim ,  使用 fastwiki-httpd 进行测试,
查找 "ITX" 和 "ZBAA" 都没问题, 你有没有兴趣下载这个 zim 帮忙测试一下?
8 n# X4 b; G5 M% x
6 [8 E- \  S/ @# I8 s& w不过, 转换后比 zim 大 9G, 共 49G, 主要原因是 kiwix 的页面中有许多内容是重复的,
  W$ ~) {7 K: g/ a( ?而 kiwix 使用的压缩块比较大, 所以它能压缩得比较小. 而 fastwiki 使用的压缩块很小,
所以压缩后整体上变大了. 小的压缩块的优点是查找快.
5 K+ B* L- C. E) M2 _* O" ?
; q2 H+ n6 l: X

skydan05

了不起！！！谢谢LZ！！！

tedaz

fastwiki 发表于 2014-3-10 13:17
应该是 kiwix 的索引问题,  
fastwiki-zim 转换了  wikipedia_en_all_02_2014.zim ,  使用 fastwiki-h ...

我觉得有可能是“wikipedia_en_all_nopic_01_2014.zim”有问题，请问如何把zim转换成fastwiki的格式？没找到工具下载。

fastwiki

tedaz 发表于 2014-3-10 20:04
% W0 ]2 y/ J1 i, G. A$ [3 H0 ]我觉得有可能是“wikipedia_en_all_nopic_01_2014.zim”有问题，请问如何把zim转换成fastwiki的格式？没找 ...

应该是 wikipedia_en_all_nopic_01_2014.zim 的索引问题, 它的数据是对的.
+ k: ~; ?8 p4 F: n" r) G5 s/ [不过 fastwiki-zim 没有用它的索引.
8 I# k, K( V- K/ Dfastwiki-zim 刚刚发布, 欢迎使用和测试.

tedaz

fastwiki 发表于 2014-3-11 12:23
应该是 wikipedia_en_all_nopic_01_2014.zim 的索引问题, 它的数据是对的.
不过 fastwiki-zim 没有用它 ...

. k+ A6 j8 r7 Q7 Wfastwiki-zim转换出错了。源文件大约11.7GB，转出了0，1，2，3四个文件，其中后缀为.3的文件大小仅100多MB时就出错了。能在程序中加个异常处理，比如遇到异常时就写个log文件出来吗？

zjzengdongyang

( \- _. \' V; ?2 w  D
7 {7 V) c3 k+ H- ^& g2 Y5 S  n; y% R; e其实他的zim并非完美,在2013\2014年的中文zim中,有一些标签没有处理(中文特有如:{zh-cn:误区; zh-hant:誤解;}格式{zh-cn:...; zh-hant:...;}).

zjzengdongyang

解释一下
3 ~8 S- v& {3 l9 d' }C:\Documents and Settings\Administrator>H:\msys2\zim\fastwiki-zim-1.0-beta5.exe
8 M# L/ M6 R; C1 Q) p& D-l en -d 201407 -f H:\msys2\zim\libstdc++-api.zim
total[0] = 849
all count=36962307, read_count=0, error=17695105
: U  R5 M2 |! e' wPUB: fastwiki.math.en.201407 count=0, error=17695105
3 m* c4 \# L; r, S# {done.
4 P/ q; I! `4 C