掌上百科 - PDAWIKI

 找回密码
 免费注册

QQ登录

只需一步,快速开始

查看: 54062|回复: 107

[工具] 分享:i-wiki的中文WJ新引擎及教程

[复制链接]

该用户从未签到

发表于 2012-7-15 11:37:27 | 显示全部楼层 |阅读模式
本帖最后由 i-wiki 于 2013-4-9 08:59 编辑 , L2 i# J2 F, p2 n7 F$ g6 }% _

6 ~( {0 F2 x9 C7 x四月至今,发布了两个WJ百科词典,参见:, x) o+ n! s# b8 C& }: C8 E) i# H
https://pdawiki.com/forum/thread-8946-1-6.html7 y! R/ I" P( A3 |
https://pdawiki.com/forum/thread-9378-1-1.html
  O' @4 K# M  U你还期待i-wiki继续发布新的吗?0 X6 J' v" o! I6 {* n+ X" g/ E
谢谢大家的支持!可是,也许要让大家失望了,我不会再继续更新,除非有新的突破。# @4 F  N$ \7 O8 M, D
所以,今后大家要自己制作词典了。古语有云:“授人鱼,不如授人以渔”。虽然i-wiki不再发布新的词典,但是他自制的中文维基引擎就要和大家分享了,你也一样可以制作出精美的维基词典!
7 _# d9 j: ?$ \" Q% I6 |' k! H  S  c2 y2 `7 t
之前也有坛友问到试用引擎的事,可是程序还不完善,不好意思拿出来和大家见面。经过这一段时间的修改,自我感觉基本可用了,加上现在程序编写也遇到了瓶颈,索性就放出来让大家一起来试用,在使用中逐步改进。
* {. ^: r% v( a3 }9 S" A0 W如果你能容忍6-13版的缺点,那么请接着往下看。0 x% t0 u* d; a9 c& [. p7 Y0 A
先上图,揭开新引擎的面纱。
2 W- a1 Z4 q, z% ?1 n; s4 @8 h- Q  J2 m( C
! T: z2 }* S" C1 F: N+ d* \

( Z% m0 ~/ v1 K! d
0 x9 @, w9 G4 q$ `; J, O一、硬件要求:# i. f( l4 `2 n! |. N
配置总之越高越好。我自己制作2012-6-13版时用的笔记本是几年前的ThinkPad X200,CPU是酷睿II双核P8200(2.2GHz),内存2GB。大家现在的配置应该比这更好。
' ]4 \. F* ~$ n6 k: A/ X5 o8 n* n# H
二、软件环境:
) B, e. A1 t, @, y" ^% u在Windows XP中新引擎是绿色的,无需安装可直接运行。XP前的系统恐怕不行,之后的其他系统我没有测试,大家不妨试一试。
& Z( x1 f# K4 \4 V$ \" e5 k
+ ?/ r( }1 ~8 j" {三、操作步骤:9 I" C% x! k7 c4 R: R
1、先下载中文维基文档,解压为XML;
) G5 P. Q7 v4 j( G4 x" Z, f7 p+ P2、将此大文档分解为若干个100M左右的小文档;) k6 E2 W0 E; T6 `* E$ v
3、复制本程序到xml文档所在目录,或生成与本程序同名的.ini文本文件:
, U1 z: n8 s- ^' a+ U& J" e    src=待处理的XML文件目录
$ b$ x0 g; `3 G+ N/ }& h" N; d    tar=输出目录# b! A; x+ I( H7 e6 Q0 d
    xml文件名列表" W" l0 b, c1 R% H8 ]/ l
4、运行本程序,处理完毕后可执行生成的.bat批处理文件将输出文件合并
5 b# u/ k9 ?8 y  K0 g! K5、将生成的cfg文件复制到MdxBuilder目录
& j  o7 S6 ?% v* f6、运行MdxBuilder.exe,制作词典。
1 w! e% Z' H6 W; M" f4 l" ~) ?' v$ c
四、简要说明:/ Q, g& D2 i9 O; ^1 _( g
  A.本程序主要用于解析维基百科的Dump数据文件,生成符合MDict格式的Html文本文件。
0 R& B7 P' A# {' G+ g( j! G/ |2 s  B.Dump数据文件必须分割为小于128MB的部分以便处理,超过128MB的文件会被忽略。$ f: |* m: E9 k( X4 L" ~  V
  C.操作步骤是可选的,点击链接可执行相应的步骤,第6步包含了第5步的复制操作。2 d: H$ R  \( A/ A
  D.如直接点击处理按钮则相当于从第3步开始,即对程序所在目录下的XML文件转换。$ M+ u3 a  }8 ~+ c' q$ ~8 E
  E.本程序遵循Copyleft规范,详见维基百科中的相关条目。: Y- y0 Q; R9 ]. N% W, ]5 O

( k+ y- e% S* h% l新引擎在这里" ?  E. b4 y. T/ s: V

' u& H( ^. z4 w4 f, J* ^; x6 {5 o' W; \
1 Y3 a$ d9 I; t! I- P) T
五、文件说明:9 Q' p% ]5 l' o4 c
下载后只有1个主文件W2T.exe,Examples目录是给大家测试用的。运行后会在程序目录生成:
4 p8 g# t9 {0 eE2C.ini        英中对照表。想到好多坛友都是英语高手,所以放出来让大家帮忙修改,如果看到条目中信息框中翻译得不好的、没有翻译的,大家就在这个表中修改、添加。
8 A9 J4 U+ c# M" Q) sW2T.ini        待处理XML文件列表。运行完毕会删除。
# C" l1 t4 I8 E6 v9 T6 D在源文件夹下,执行“分解”操作后会生成:(如Dumps解压文件为w.xml)2 ?  I" v, k5 ]" M) _5 _3 S2 x& C: }
w01.xml        <128MB的分块+ |  f" m# x; B+ O/ A
w02.xml. ^( Z, }, z2 R, K1 s% r+ s5 ^
2 }( C. m: D8 W: m' \
w.idx        索引文件。没有它也可以的,就按article中的关键字生成超链接,但是有些链接(在线维基中的红色关键字)实际没有相应条目。  x3 _/ y2 Z" P/ }; ]
在目标文件夹下,运行后会生成:# K# g. y$ H2 T9 V
w01.xml.txt% A: ]  E; f6 Y3 R
w02.xml.txt
' @3 k" o8 `! Y
, e2 y* s( U- Bwiki.bat        合并生成wiki.txt的批处理程序
; ?- d: R, y, p; s# W2 ]$ mmdxconfig.cfg
5 h4 @: q0 N. J/ r8 G5 e还有数据文件夹
$ {/ J' L. y8 E* H% q/ Mdata\
5 _4 L/ S! V; h# p6 U其中包含三个文件:
9 w; G* _2 m' j" r3 i5 i: ]5 Q) Swiki.css        层叠样式表,大家可以修改成你喜欢的格式。. }9 z8 _; ?* x: y+ a! ~
link.gif( Q5 j2 h, p( U& b) A9 F" L) C4 H' f
wiki.png
! M  |% s2 w' H$ e! P" |' F和很多两字母命名的文件夹,里面是公式图片
7 I% M' y8 l% \( `
3 }, [3 d' R* X( K3 |! Z因为论坛里附件不能下载的原因,所以想尝试的朋友可以到网盘; n0 |9 F( n2 J! Q  B; s
http://pan.baidu.com/share/link?shareid=253240&uk=19473610

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?免费注册

x

评分

2

查看全部评分

本帖被以下淘专辑推荐:

该用户从未签到

发表于 2014-7-12 15:15:03 | 显示全部楼层
本帖最后由 abdallha 于 2014-7-14 15:24 编辑 # R' w+ m! L: n' ~: P8 H' Q1 S
他乡游子 发表于 2013-6-17 12:55
: w. f# F$ A7 P+ s0 A  Y& h& T有些词无法解析  H8 z6 b6 D9 E
如:藍岩鬣蜥
' K! Z7 G5 Z4 M3 r    神韵艺术团

* E+ |$ ]0 p5 x- t( a5 s" H
0 l2 N  z% a9 L* G2 d' w我正在转换20140705的dump,在第17个文件碰到了“藍岩鬣蜥”,和楼上同学反映的一样程序出错了。经过反复试验,发现是在这一句中出错的:
  1. “ 另外,傳統的農地變更成畜牧的草場也影響藍岩鬣蜥的次級棲息地。<ref name="iucn">{{IUCN2006|assessors=Burton, F.J.|year=2004|id=44275|title=Cyclura lewisi|downloaded=9 May 2006}}</ref>”
复制代码
仔细研究后发现是该句中的标签<ref name="iucn">漏了加斜杠符号。于是用Ultraedit编辑该xml文件,将该标签改成<ref name="iucn"/>,以UTF-8格式保存,重新运行i-wiki引擎,就顺利通过了。
0 L* U. p; v7 [# b8 G0 L. Y) H
* J( @  P# j; s1 Q; ?7 J然后在第26个文件碰到“神韵艺术团”,报同样错。发现是在:
  1. “還有扇子、筷子和水袖等。<ref name="=A dazzling show with a clear message"/><ref name="Women flow like water in spectacle"/>{{cite news|language= {{en}} | author = Sid Smith | coauthors = | url =http://articles.chicagotribune.com/2008-01-28/features/0801270151_1_dance-chinese-traditional |title = Women flow like water in spectacle |publisher =Chicago tribune | pages =| date = 2008-01-28|accessdate = 2012-12-29|In many respects, the Chinese New Year Spectacular resoundingly lives up to its name. The term "spectacular" may whiff of self-promotion, but the show, which played Arie Crown Theater over the weekend, is indisputably a spectacle. Dozens of dancers and musicians flood the stage in a parade of brightly colored, intricately detailed silken costumes, while the instrumentation ranges from traditional drums to bunches of chopsticks.}}</ref>”
复制代码
这句出错,仔细研究后发现是该句中的标签<ref name="Women flow like water in spectacle"/>多加了一个斜杠符号,删去该斜杠,保存,重新运行,OK了。* c" D* F8 w  }1 d: o  `; S' S' U
  • TA的每日心情
    开心
    2024-4-6 20:38
  • 签到天数: 14 天

    [LV.3]偶尔看看II

    发表于 2021-11-11 22:56:03 | 显示全部楼层
    请问大家,把XML分割成128M一下大小文件,用的什么工具。我在网络上找了几款,比如WXR FILE SPLITTER等,把XML导入后程序都是卡住不动,0 Z6 V4 A, ~2 v" ]: v6 U6 _, Q) u' e
    我现在用的版本是2021年11月1号的,大小2.12G,解压缩后的XML达到9.41G。7 s9 F2 w5 o2 F7 o; P
    谢谢啦
  • TA的每日心情
    开心
    2018-4-28 13:02
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2014-10-28 22:07:13 | 显示全部楼层
    glsgls123 发表于 2012-8-21 14:15) L% L4 A, ?- `( P! a
    楼主~转换日文wiki,到part7 “捕手”出现这个怎么办?在google上查了一下,有一种可能是地区码设置引起 ...
    " N4 H5 D- d, s
    直接在源文件里把这个捕手条目删除就好了。有2个。

    该用户从未签到

    发表于 2012-7-15 12:33:50 | 显示全部楼层
    本帖最后由 2000ml 于 2012-7-18 10:00 编辑 ( Z0 J% x% R4 t$ ^. l8 a; f* a

    3 K. ^$ {( H; C# O当然期待!在大侠你有时间和精力的前提下,希望可以精益求精、与时并进。感谢!//可是,做一名优秀的渔夫也需要潜质和条件…//还是谢谢楼主用心良苦!
  • TA的每日心情
    慵懒
    2020-12-11 08:19
  • 签到天数: 104 天

    [LV.6]常住居民II

    发表于 2012-7-15 12:40:58 | 显示全部楼层
    期待中!

    该用户从未签到

    发表于 2012-7-15 15:43:57 | 显示全部楼层
    挺好的啊,我两个都下了,因为我对公式很关注,所以公式一般就是我评判好坏的唯一标准3 Z+ _! b) s2 C7 X+ V
    6月13的版本可以说公式已经非常完美了,和superfan的相同,也是用图片来表示公式的,而且图片比superfan老大的小一些清晰一些,这个我感觉非常好,但是整体来说,总感觉排版没有superfan老大的清爽,可能和字体的选择和大小有关,楼主可以拿“导数”词条做个对比4 n. |; j5 P; E8 g- @. T
    我用的是手机,640*480的屏,供楼主参考
    0 F% t/ A2 m: l  c2 p非常感谢,感觉以后应该会更好

    该用户从未签到

    发表于 2012-7-15 16:32:52 | 显示全部楼层
    我打算在9月份以后先HTTP请求简体中文页面,做一个图文版。到时公开数据包的文件路径,这样大家就可以制作图文版。0 J4 c/ l) Z- J; t6 _/ I& O9 M

    0 I' c3 I9 Y2 O& G( a以下为废话……0 U- }6 |- `+ y* f  y- Q
    我的Wiki引擎还在构思中,目前的难题是解析模板和函数。至于数学公式,我想自学下Latex相关部分。
  • TA的每日心情

    2018-6-16 00:08
  • 签到天数: 197 天

    [LV.7]常住居民III

    发表于 2012-7-15 17:48:29 | 显示全部楼层
    当然当然,非常期待哈。
  • TA的每日心情
    郁闷
    2018-5-28 23:05
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2012-7-15 18:42:28 | 显示全部楼层
    期待图文版
  • TA的每日心情

    2018-1-21 02:01
  • 签到天数: 2 天

    [LV.1]初来乍到

    发表于 2012-7-15 19:33:03 | 显示全部楼层
    很期待,你做的比所有的XD做的都要精美一些,如果可能,希望XD 能一直更新哪!

    该用户从未签到

    发表于 2012-7-15 21:56:43 | 显示全部楼层
    非常期待! 跪求!
  • TA的每日心情
    奋斗
    2020-11-29 07:39
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2012-7-15 23:47:05 | 显示全部楼层
    太强大了
    ) B4 D5 C. n# {2 M) W4 M! ^
      Q  x# {+ T  K$ O+ s就有些名词词组,例如,HTC发布的很多机型的的词条重新定向,点击链接后,就单独个词条在那里,而没有具体内容……
  • TA的每日心情
    开心
    2018-7-14 15:08
  • 签到天数: 11 天

    [LV.3]偶尔看看II

    发表于 2012-7-16 06:31:35 | 显示全部楼层
    挺好的啊,我两个都下了,因为我对公式很关注,所以公式一般就是我评判好坏的唯一标准0 a' b# Q" V9 H! L! d1 p
    6月13的版本可以说公式已经非常完美了,和superfan的相同,也是用图片来表示公式的,而且图片比superfan老大的小一些清晰一些, ...
    & w0 |# p3 L: G1 Z7 _% `( tglacierrr 发表于 2012-7-15 15:43
    , a0 [0 m3 c! b6 g* r7 }/ Q* ?

    # L7 a: v! A+ M. \期待着,Superfan制作的也非常精美,一直是我常常使用的,他也说过要写一个详细的教程,可是我等呀,等呀%……

    该用户从未签到

    发表于 2012-7-16 09:16:28 | 显示全部楼层
    非常期待,希望LZ能在下个版本中修复点击链接转跳,只有一个空的词条的bug。

    该用户从未签到

     楼主| 发表于 2012-7-16 09:23:12 | 显示全部楼层
    谢谢大家的支持!可是,可能要让大家失望,我不会再继续更新了。

    该用户从未签到

     楼主| 发表于 2012-7-16 09:32:49 | 显示全部楼层
    4# glacierrr
    & L3 N8 K! L6 z5 i! a5 [. h% D# R( h: d9 w  u* K
    你的视角很独特,公式的确是维基百科中重要的组成部分,刚开始我没有注意到的,经坛友提醒才发现问题。还好,这个难题用图片解决了。与Superfan类似,用Tex工具生成图片来处理。

    该用户从未签到

     楼主| 发表于 2012-7-16 09:49:11 | 显示全部楼层
    本帖最后由 i-wiki 于 2012-7-16 10:32 编辑 . I7 J! i9 J) p9 F
    3 c: [' e3 ]6 X
    5# 惟吾无为 ; H- v0 E8 {+ g* f  {7 k8 m
    7 |' z5 O9 a1 ~2 _' n
    无为老弟的百度百科不错,几十GB的东西是很难下载和处理的,可你做到了。用Http方式也许是获得最接近在线维基版式的一种方法,期待你的加入,不过要考虑G.F.W会有一点影响。

    该用户从未签到

    发表于 2012-7-16 10:09:39 | 显示全部楼层
    很期待 高作

    该用户从未签到

     楼主| 发表于 2012-7-16 10:31:11 | 显示全部楼层
    12# qiyue2001 10# xianjue114
    7 f2 r+ ]1 Z* a9 |- E( B. b; n: K
    6 D3 h6 X/ x0 ^' c0 g9 D% F9 W经查看,的确是一个BUG。因为每一个关键字都要验证在索引中是否存在,如不存在则不作链接处理。程序中对于英文字串的比较有BUG,已修改。

    该用户从未签到

    发表于 2012-7-16 13:15:05 | 显示全部楼层
    15# i-wiki
    - k, O9 i; z0 b. D
    ( f2 d0 ?# B9 b2 C
    2 Z2 V8 o  M$ F; N+ u' B只是设想,而且为了保证不影响服务器,到时会每个页面等待几秒,图片亦同。所以整体速度会慢些。
    4 P( {0 [, O: F' e! n到时先请求社区帮助,不然就只有逐个页面下载了。

    该用户从未签到

     楼主| 发表于 2012-7-16 17:48:25 | 显示全部楼层
    除非有新的突破,否则我不会再继续更新了。

    该用户从未签到

     楼主| 发表于 2012-7-17 08:49:46 | 显示全部楼层
    所以,今后大家要自己制作词典了。

    该用户从未签到

     楼主| 发表于 2012-7-17 17:18:32 | 显示全部楼层
    2012-07-16 05:26:45 zhwiki: Dump complete

    - Y. v% |3 {9 M3 u# m7 s最新的数据你下载了没有?

    该用户从未签到

    发表于 2012-7-17 18:16:35 | 显示全部楼层
    收藏一个先,可以直接做意大利文的维基百科吗?

    该用户从未签到

    发表于 2012-7-17 19:27:23 | 显示全部楼层
    谢谢楼主分享制作工具和教程!!!{:soso_e113:}
  • TA的每日心情
    开心
    2018-1-27 00:16
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2012-7-20 15:11:05 | 显示全部楼层
    无限感谢大大!等过几天有时间了试试日语的版本如何还有维基词典,文库等。一直在用大大制作的维基词库,受益匪浅。

    该用户从未签到

    发表于 2012-8-21 09:44:19 | 显示全部楼层
    被杀毒软件-金山当作木马删掉囧只好关掉杀软
    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    小黑屋|手机版|Archiver|PDAWIKI |网站地图

    GMT+8, 2024-4-25 03:15 , Processed in 0.113186 second(s), 14 queries , MemCache On.

    Powered by Discuz! X3.4

    Copyright © 2001-2023, Tencent Cloud.

    快速回复 返回顶部 返回列表