分享：i-wiki的中文WJ新引擎及教程

i-wiki · 发表于 2012-7-15 11:37:27

本帖最后由 i-wiki 于 2013-4-9 08:59 编辑

四月至今，发布了两个WJ百科词典，参见：
https://pdawiki.com/forum/thread-8946-1-6.html
https://pdawiki.com/forum/thread-9378-1-1.html
你还期待i-wiki继续发布新的吗？
谢谢大家的支持！可是，也许要让大家失望了，我不会再继续更新，除非有新的突破。
所以，今后大家要自己制作词典了。古语有云：“授人鱼，不如授人以渔”。虽然i-wiki不再发布新的词典，但是他自制的中文维基引擎就要和大家分享了，你也一样可以制作出精美的维基词典！

之前也有坛友问到试用引擎的事，可是程序还不完善，不好意思拿出来和大家见面。经过这一段时间的修改，自我感觉基本可用了，加上现在程序编写也遇到了瓶颈，索性就放出来让大家一起来试用，在使用中逐步改进。
如果你能容忍6-13版的缺点，那么请接着往下看。
先上图，揭开新引擎的面纱。

一、硬件要求：
配置总之越高越好。我自己制作2012-6-13版时用的笔记本是几年前的ThinkPad X200，CPU是酷睿II双核P8200（2.2GHz），内存2GB。大家现在的配置应该比这更好。

二、软件环境：
在Windows XP中新引擎是绿色的，无需安装可直接运行。XP前的系统恐怕不行，之后的其他系统我没有测试，大家不妨试一试。

三、操作步骤：
1、先下载中文维基文档，解压为XML；
2、将此大文档分解为若干个100M左右的小文档；
3、复制本程序到xml文档所在目录，或生成与本程序同名的.ini文本文件：
src=待处理的XML文件目录
tar=输出目录
xml文件名列表
4、运行本程序，处理完毕后可执行生成的.bat批处理文件将输出文件合并
5、将生成的cfg文件复制到MdxBuilder目录
6、运行MdxBuilder.exe，制作词典。

四、简要说明：
  A.本程序主要用于解析维基百科的Dump数据文件，生成符合MDict格式的Html文本文件。
  B.Dump数据文件必须分割为小于128MB的部分以便处理，超过128MB的文件会被忽略。
  C.操作步骤是可选的，点击链接可执行相应的步骤，第6步包含了第5步的复制操作。
  D.如直接点击处理按钮则相当于从第3步开始，即对程序所在目录下的XML文件转换。
  E.本程序遵循Copyleft规范，详见维基百科中的相关条目。

新引擎在这里

五、文件说明：
下载后只有1个主文件W2T.exe，Examples目录是给大家测试用的。运行后会在程序目录生成：
E2C.ini 英中对照表。想到好多坛友都是英语高手，所以放出来让大家帮忙修改，如果看到条目中信息框中翻译得不好的、没有翻译的，大家就在这个表中修改、添加。
W2T.ini 待处理XML文件列表。运行完毕会删除。
在源文件夹下，执行“分解”操作后会生成：(如Dumps解压文件为w.xml)
w01.xml <128MB的分块
w02.xml
…
w.idx 索引文件。没有它也可以的，就按article中的关键字生成超链接，但是有些链接（在线维基中的红色关键字）实际没有相应条目。
在目标文件夹下，运行后会生成：
w01.xml.txt
w02.xml.txt
…
wiki.bat 合并生成wiki.txt的批处理程序
mdxconfig.cfg
还有数据文件夹
data\
其中包含三个文件：
wiki.css 层叠样式表，大家可以修改成你喜欢的格式。
link.gif
wiki.png
和很多两字母命名的文件夹，里面是公式图片

因为论坛里附件不能下载的原因，所以想尝试的朋友可以到网盘
http://pan.baidu.com/share/link?shareid=253240&uk=19473610

abdallha · 发表于 2014-7-12 15:15:03

本帖最后由 abdallha 于 2014-7-14 15:24 编辑

他乡游子发表于 2013-6-17 12:55
& X# ?: @' X! K( z8 f z有些词无法解析8 o* O7 `0 [% X4 F( u
如：藍岩鬣蜥
, {3 }& G9 N4 { 神韵艺术团

我正在转换20140705的dump，在第17个文件碰到了“藍岩鬣蜥”，和楼上同学反映的一样程序出错了。经过反复试验，发现是在这一句中出错的：

“ 另外，傳統的農地變更成畜牧的草場也影響藍岩鬣蜥的次級棲息地。<ref name="iucn">{{IUCN2006|assessors=Burton, F.J.|year=2004|id=44275|title=Cyclura lewisi|downloaded=9 May 2006}}</ref>”

复制代码

仔细研究后发现是该句中的标签<ref name="iucn">漏了加斜杠符号。于是用Ultraedit编辑该xml文件，将该标签改成<ref name="iucn"/>，以UTF-8格式保存，重新运行i-wiki引擎，就顺利通过了。

然后在第26个文件碰到“神韵艺术团”，报同样错。发现是在：

“還有扇子、筷子和水袖等。<ref name="=A dazzling show with a clear message"/><ref name="Women flow like water in spectacle"/>{{cite news|language= {{en}} | author = Sid Smith | coauthors = | url =http://articles.chicagotribune.com/2008-01-28/features/0801270151_1_dance-chinese-traditional |title = Women flow like water in spectacle |publisher =Chicago tribune | pages =| date = 2008-01-28|accessdate = 2012-12-29|In many respects, the Chinese New Year Spectacular resoundingly lives up to its name. The term "spectacular" may whiff of self-promotion, but the show, which played Arie Crown Theater over the weekend, is indisputably a spectacle. Dozens of dancers and musicians flood the stage in a parade of brightly colored, intricately detailed silken costumes, while the instrumentation ranges from traditional drums to bunches of chopsticks.}}</ref>”

复制代码

这句出错，仔细研究后发现是该句中的标签<ref name="Women flow like water in spectacle"/>多加了一个斜杠符号，删去该斜杠，保存，重新运行，OK了。

ironking · 发表于 2021-11-11 22:56:03

请问大家，把XML分割成128M一下大小文件，用的什么工具。我在网络上找了几款，比如WXR FILE SPLITTER等，把XML导入后程序都是卡住不动，
我现在用的版本是2021年11月1号的，大小2.12G，解压缩后的XML达到9.41G。
谢谢啦

shinsenlin · 发表于 2014-10-28 22:07:13

glsgls123 发表于 2012-8-21 14:15
4 B$ M) J! R: C: P7 w* r3 z楼主~转换日文wiki，到part7 “捕手”出现这个怎么办？在google上查了一下，有一种可能是地区码设置引起 ...

直接在源文件里把这个捕手条目删除就好了。有2个。

2000ml · 发表于 2012-7-15 12:33:50

本帖最后由 2000ml 于 2012-7-18 10:00 编辑

当然期待！在大侠你有时间和精力的前提下，希望可以精益求精、与时并进。感谢！//可是，做一名优秀的渔夫也需要潜质和条件…//还是谢谢楼主用心良苦！

yangxiups · 发表于 2012-7-15 12:40:58

期待中！

glacierrr · 发表于 2012-7-15 15:43:57

挺好的啊，我两个都下了，因为我对公式很关注，所以公式一般就是我评判好坏的唯一标准
6月13的版本可以说公式已经非常完美了，和superfan的相同，也是用图片来表示公式的，而且图片比superfan老大的小一些清晰一些，这个我感觉非常好，但是整体来说，总感觉排版没有superfan老大的清爽，可能和字体的选择和大小有关，楼主可以拿“导数”词条做个对比
我用的是手机，640*480的屏，供楼主参考
非常感谢，感觉以后应该会更好

惟吾无为 · 发表于 2012-7-15 16:32:52

我打算在9月份以后先HTTP请求简体中文页面，做一个图文版。到时公开数据包的文件路径，这样大家就可以制作图文版。

以下为废话……
我的Wiki引擎还在构思中，目前的难题是解析模板和函数。至于数学公式，我想自学下Latex相关部分。

sculiuchang · 发表于 2012-7-15 17:48:29

当然当然，非常期待哈。

ljlwdf · 发表于 2012-7-15 18:42:28

期待图文版

lzzh0520 · 发表于 2012-7-15 19:33:03

很期待，你做的比所有的XD做的都要精美一些，如果可能，希望XD 能一直更新哪！

fdfdrere · 发表于 2012-7-15 21:56:43

非常期待! 跪求!

xianjue114 · 发表于 2012-7-15 23:47:05

太强大了

就有些名词词组，例如，HTC发布的很多机型的的词条重新定向，点击链接后，就单独个词条在那里，而没有具体内容……

weihana · 发表于 2012-7-16 06:31:35

挺好的啊，我两个都下了，因为我对公式很关注，所以公式一般就是我评判好坏的唯一标准4 X m8 W. j$ L; ~* d
6月13的版本可以说公式已经非常完美了，和superfan的相同，也是用图片来表示公式的，而且图片比superfan老大的小一些清晰一些， ...# b+ \$ T, G; B, o( K7 R
glacierrr 发表于 2012-7-15 15:43

期待着，Superfan制作的也非常精美，一直是我常常使用的，他也说过要写一个详细的教程，可是我等呀，等呀%……

qiyue2001 · 发表于 2012-7-16 09:16:28

非常期待，希望LZ能在下个版本中修复点击链接转跳，只有一个空的词条的bug。

i-wiki · 发表于 2012-7-16 09:23:12

谢谢大家的支持！可是，可能要让大家失望，我不会再继续更新了。

i-wiki · 发表于 2012-7-16 09:32:49

4# glacierrr

你的视角很独特，公式的确是维基百科中重要的组成部分，刚开始我没有注意到的，经坛友提醒才发现问题。还好，这个难题用图片解决了。与Superfan类似，用Tex工具生成图片来处理。

i-wiki · 发表于 2012-7-16 09:49:11

本帖最后由 i-wiki 于 2012-7-16 10:32 编辑

5# 惟吾无为

无为老弟的百度百科不错，几十GB的东西是很难下载和处理的，可你做到了。用Http方式也许是获得最接近在线维基版式的一种方法，期待你的加入，不过要考虑G.F.W会有一点影响。

蓝色土耳其 · 发表于 2012-7-16 10:09:39

很期待高作

i-wiki · 发表于 2012-7-16 10:31:11

12# qiyue2001 10# xianjue114

经查看，的确是一个BUG。因为每一个关键字都要验证在索引中是否存在，如不存在则不作链接处理。程序中对于英文字串的比较有BUG，已修改。

惟吾无为 · 发表于 2012-7-16 13:15:05

15# i-wiki

只是设想，而且为了保证不影响服务器，到时会每个页面等待几秒，图片亦同。所以整体速度会慢些。
到时先请求社区帮助，不然就只有逐个页面下载了。

i-wiki · 发表于 2012-7-16 17:48:25

除非有新的突破，否则我不会再继续更新了。

i-wiki · 发表于 2012-7-17 08:49:46

所以，今后大家要自己制作词典了。

i-wiki · 发表于 2012-7-17 17:18:32

2012-07-16 05:26:45 zhwiki: Dump complete

最新的数据你下载了没有？

chigre · 发表于 2012-7-17 18:16:35

收藏一个先，可以直接做意大利文的维基百科吗？

dingweifengye · 发表于 2012-7-17 19:27:23

谢谢楼主分享制作工具和教程！！！{:soso_e113:}

liuyunrushui · 发表于 2012-7-20 15:11:05

无限感谢大大！等过几天有时间了试试日语的版本如何还有维基词典，文库等。一直在用大大制作的维基词库，受益匪浅。

glsgls123 · 发表于 2012-8-21 09:44:19

被杀毒软件-金山当作木马删掉囧只好关掉杀软

		自动登录	找回密码
密码			免费注册

[工具] 分享：i-wiki的中文WJ新引擎及教程

本帖子中包含更多资源

评分

本帖被以下淘专辑推荐:

相关帖子