掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 23116|回复: 54

[工具] New Wikipedia rendering engine

[复制链接]

该用户从未签到

发表于 2010-7-12 22:04:40 | 显示全部楼层 |阅读模式
本帖最后由 superfan89 于 2011-2-25 11:41 编辑
* E* [/ N( O$ G! t4 a* ?' b# A# c. V) a* o( t9 o* s# f4 _7 S
一直以来使用philostone等兄弟转换的wikipedia,在手机上读维基百科的感觉十分爽,唯一美中不足的是其中一些未处理链接和标签。前几天在网上google来MWlib和aard dictionary这两个好东东,其中Mwlib是专门用来转换wiki格式的一个程序库,aard是一个跨平台词典,包含了开源的词典转换软件,可以用来直接转换维基百科的xml dump。对原作者的代码略加修改后即可以直接输出Mdict可转换的文本格式。9 @/ B7 Z5 w1 |* A7 K! V
    这个版本转换了zhwiki dump大约1%的内容,花费了近30分钟。
5 Y6 r& M' q& Y7 l6 Z已知的优点和缺点:
# D/ m9 O3 M) ~- f* d优点:
8 Q2 p# a7 e; K9 I# f+ B6 E1、残留的标签大大减少,格式更加完善: g2 \, V  h7 N( m# B1 o
2、公式全部采用TeX渲染成图片,更加美观
# N  ^2 ?, H( h# H3、包含词条重定向
& q" R& w! F) J* K  i9 Q缺点:
! O. Q$ T/ W' _3 y  ]8 a1、渲染出的图片嵌在网页内部,只能用PC端Mdict显示
$ q" _: [! d! k# G# e4 W/ b" D9 X& a2、部分格式不正确9 @) E5 ], r  n, E  a! O) _+ B  d$ f6 `
3、需要在Linux下搭建转换环境  M; k; H9 P+ K9 g$ N

: R" X4 X( r8 @5 X$ R相关参考:
" ?; @3 c& ?! a9 [) H  O' m+ ?. V1 @http://aarddict.org/
$ O/ r2 n/ t# i# h9 U/ Q8 v5 yhttp://code.pediapress.com/wiki/wiki/mwlib$ B. [6 W/ V* R6 t' w
aard 09年12月的中文维基百科(完整版)http下载,与这个demo的格式类似:
* i# e- c7 f) ^( |' q1 y# `http://aarddict.org/d/zhwiki-20091225-1.html.aar- j6 Q# K; e7 \
希望有兴趣的朋友们能共同研究探讨。8 o4 F  R6 l" O

! G5 k2 r) e2 b7 B8 b, ]5 z这里提供一个Mdx(1%词条)仅供测试,想日常使用的朋友就别下了。
8 q. o& i' X4 D, v8 w0 j  M- N& \* PWikiDemo.mdx
) I) o. y0 S1 ?+ M! Jhttp://u.115.com/file/t417cc4b83  j; a0 ]/ m9 v4 P
p.s.:可以套上这个wikipedia.css一起使
. ^7 Z" @  L8 x7 u+ j. c4 g+ Y! A% @& n* g7 H
-------------------------------------# @$ i8 B: \2 E
2010/07/13
2 q; F; I4 @7 ?5 @改进:. [7 Y+ M/ l' b) s2 J+ K. C3 v$ {1 k
1、TeX渲染图片输出单独输出至data目录
* U3 L$ H0 B+ }  L3 B, f$ _2、引用和引用链接可以互相跳转,看文章非常方便  s6 B. h: @4 ]  @
初步具有了可用性,上传在此* k. ~/ G$ d$ _( v

; O4 N; p3 z+ R! v使用时覆盖Aard Tools中的对应文件即可
6 c1 j2 t+ a. j5 E. s  |Aard Tools链接:3 G# P& x2 c7 q) h4 ?- Z* E' R
http://bitbucket.org/itkach/aardtools/get/0.8.0.zip
& v& @4 O2 c9 n  c安装详细指南:( \$ m; u& W  ~/ [- v
http://aarddict.org/aardtools/doc/aardtools.html#module-aardtools& h4 u7 L8 e( t4 B# y) r3 _$ T; b
, ?# f5 O# z! h+ l% j% Y6 T* b
在Ubuntu或者Debian上安装最方便,因为依赖关系比较复杂,还不知道怎么在Windows上使用,望有兴趣朋友帮忙转出一个完整版本。. L4 m! c+ e! G- \" X2 V

/ a" o& K% ~: u再传个用新版的脚本转的Demo,含词条数要更少一些0 D* a: o2 `4 f, s. Y% j3 O
WikiDemo2.rar$ y, N+ g/ I0 w$ s3 i
http://u.115.com/file/t4b4dc158f
* x1 c$ v& t7 ~' m" ^-------------------------------------
' l1 {# G/ h5 M* R7 W1 D& v2010/7/15- g6 N8 c; T7 T# q1 ?0 H. F, `
增加了“断点续转”功能,转换时输入"q"后回车,转完当前千个文件时会保存当前进度并停止,下次转换时可以接着转。' x' i) F7 S; j  [; h' h
-------------------------------------7 M$ u7 r+ {% [  y$ Q/ L
2011/2/25, [& P  i$ I! Q. `
请用此覆盖aardtools0.8.3,依赖的Mwlib升级至0.12.13。1 }; b1 L9 D! _! a7 A3 \

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?免费注册

x

评分

1

查看全部评分

该用户从未签到

发表于 2016-11-2 18:23:41 | 显示全部楼层
发哥 发表于 2010-7-12 22:16( X- D4 ]2 E! O+ ~- I* v
接着改。嘿嘿。把tex搞成独立图片。。

' J9 W( J( g6 A* ]. ~: q' l8 Vgreat

该用户从未签到

发表于 2016-4-15 13:13:23 | 显示全部楼层
👍👍👍

该用户从未签到

发表于 2016-5-31 11:58:56 | 显示全部楼层
非常感谢您的无私分享!辛苦了!
  • TA的每日心情
    开心
    2018-7-19 02:16
  • 签到天数: 20 天

    [LV.4]偶尔看看III

    发表于 2010-7-12 22:16:24 | 显示全部楼层
    接着改。嘿嘿。把tex搞成独立图片。。

    该用户从未签到

    发表于 2010-7-12 22:22:08 | 显示全部楼层
    都是牛人啊
  • TA的每日心情
    开心
    2026-5-17 05:44
  • 签到天数: 2908 天

    [LV.Master]伴坛终老

    发表于 2010-7-12 22:35:54 | 显示全部楼层
    期待中,确实是牛人。

    该用户从未签到

     楼主| 发表于 2010-7-13 09:52:37 | 显示全部楼层
    接着改。嘿嘿。把tex搞成独立图片。。
    - v; E' x0 x  z% P1 G" m发哥 发表于 2010-7-12 22:16
    7 r$ `3 X2 S: n' t
    嗯,又看下代码,应该是可以的,找时间再修改下
    wdianyu 该用户已被删除
    发表于 2010-7-13 10:56:46 | 显示全部楼层
    这个可以有
  • TA的每日心情
    开心
    2026-5-17 05:44
  • 签到天数: 2908 天

    [LV.Master]伴坛终老

    发表于 2010-7-13 10:59:30 | 显示全部楼层
    在pc上使用,常常会显示错误,Mdict就没有反应了。$ Z; a3 c; `% R' Q. Z8 `
    我对编程不懂,不知道是什么原因。

    该用户从未签到

     楼主| 发表于 2010-7-13 11:22:07 | 显示全部楼层
    是啊 pc上会显示脚本错误,不过好像对显示效果没什么影响。还不知道什么原因
  • TA的每日心情
    慵懒
    2020-12-11 08:19
  • 签到天数: 104 天

    [LV.6]常住居民II

    发表于 2010-7-13 11:29:33 | 显示全部楼层
    本帖最后由 yangxiups 于 2010-7-13 11:33 编辑 ! S# M% b/ P& _% g5 V

    # U' U1 H9 A- O$ OBravo!

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?免费注册

    x

    该用户从未签到

     楼主| 发表于 2010-7-13 11:48:04 | 显示全部楼层
    装上那个css后效果会更好些

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?免费注册

    x

    该用户从未签到

     楼主| 发表于 2010-7-13 18:26:45 | 显示全部楼层
    本帖最后由 superfan89 于 2010-7-13 18:53 编辑
    & p! w- u8 x- I3 x
    2 K) C3 n3 _' p3 [' mTeX单独渲染为图片的效果3 Y3 T- R8 `4 f) J0 ~& @0 s

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?免费注册

    x

    该用户从未签到

     楼主| 发表于 2010-7-13 18:27:00 | 显示全部楼层
    本帖最后由 superfan89 于 2010-7-13 18:58 编辑 , K# N) D' l, ~5 ~

    3 c6 t2 D! ?" `& ?竟然发重了,汗
  • TA的每日心情
    郁闷
    2018-3-3 19:50
  • 签到天数: 3 天

    [LV.2]偶尔看看I

    发表于 2010-7-13 19:58:57 | 显示全部楼层
    显示效果真不错啊:D
  • TA的每日心情
    开心
    2018-1-27 00:16
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2010-7-13 20:05:31 | 显示全部楼层
    太强大了!超级期待呀!

    该用户从未签到

     楼主| 发表于 2010-7-14 00:07:25 | 显示全部楼层
    程序已经上传了,暂时挂不了机,望有兴趣的朋友帮忙转出完整版,现在的这个脚本只能一次不间断的将所有文章转出。
  • TA的每日心情
    慵懒
    2020-12-11 08:19
  • 签到天数: 104 天

    [LV.6]常住居民II

    发表于 2010-7-14 19:08:14 | 显示全部楼层
    很期待!
  • TA的每日心情
    开心
    2018-7-19 02:16
  • 签到天数: 20 天

    [LV.4]偶尔看看III

    发表于 2010-7-14 22:13:14 | 显示全部楼层
    服务器是centos的,依赖关系搞不定。。。

    该用户从未签到

     楼主| 发表于 2010-7-14 22:31:30 | 显示全部楼层
    恩,那就找机会单机转好了。。。
  • TA的每日心情
    慵懒
    2020-12-11 08:19
  • 签到天数: 104 天

    [LV.6]常住居民II

    发表于 2010-7-15 19:46:27 | 显示全部楼层
    我想试一试,可对linux几乎已无所知,自己在电脑里装了一个Ubuntu desktop,安装详解里的每一个提到的工具都要安装吗?怎样安装这些工具呢?

    该用户从未签到

     楼主| 发表于 2010-7-15 20:37:42 | 显示全部楼层
    是的,那几个最好都装上,像Ubuntu和debian这样的系统用apt-get install xxx的命令可以直接下载相关包,如果是源代码的话就make之后再make install就好了,解压缩用tar -xvf xxx命令。大概就是这样了,一会再传个新更改的版本。
    % t$ c  ]' }6 ]3 K) U7 k0 C    可以去Ubuntu的wiki看下。
  • TA的每日心情
    慵懒
    2020-12-11 08:19
  • 签到天数: 104 天

    [LV.6]常住居民II

    发表于 2010-7-15 21:20:30 | 显示全部楼层
    谢谢了!试试看。
  • TA的每日心情
    慵懒
    2020-12-11 08:19
  • 签到天数: 104 天

    [LV.6]常住居民II

    发表于 2010-7-17 15:10:27 | 显示全部楼层
    是的,那几个最好都装上,像Ubuntu和debian这样的系统用apt-get install xxx的命令可以直接下载相关包,如果是源代码的话就make之后再make install就好了,解压缩用tar -xvf xxx命令。大概就是这样了,一会再传个新更 ...
    , T$ c0 Y' R2 d0 H0 Q: k6 csuperfan89 发表于 2010-7-15 20:37

    1 O* M  m3 I* @' p工具都已经 装好 了 ,下載好 了 DUMP文件,使用 AARD TOOLS 应該怎樣操作 呢?
    * W. _. v7 ~  u, _) c* W4 T) aINSTALLATION中 的
    Assuming source code code is in aardtools directory:
    / ]6 |/ k! T5 q9 V: j0 C8 W
    : G2 T( o7 H3 R7 Q3 P/ C: D8 @cd aardtools- A& m1 R+ S$ O. [0 B5 m
    sudo python setup.py install

    6 y7 `# G$ N! @. J4 K* d这一条 不知怎么 操作 .謝謝指導!

    该用户从未签到

     楼主| 发表于 2010-7-17 15:28:59 | 显示全部楼层
    在终端里 进入到解压后的aardtools目录,输入sudo python setup.py install就安装好了2 l9 {5 a* G8 K3 `/ z7 |
    全部安装好后,要使用mwbuildcdb这条命令将xml dump转为cdb格式,再用aardc命令开始转换。
    yulan6248 该用户已被删除
    发表于 2010-7-18 02:09:34 | 显示全部楼层
    太牛了 支持支持!!!!!!!!!!!!希望早日出炉

    该用户从未签到

    发表于 2010-7-18 10:05:42 | 显示全部楼层
    很好,很强大!以后慢慢学着用……
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2026-8-7 21:03 , Processed in 0.026298 second(s), 30 queries .

    Powered by Discuz! X3.4

    © 2001-2023 Discuz! Team.

    快速回复 返回顶部 返回列表