分割xml/html等文件必备：xmlsplit

hyln9 · 发表于 2013-11-24 17:50:00

本帖最后由 hyln9 于 2013-11-24 22:55 编辑

之前打算制作英文维基20131104（https://www.pdawiki.com/forum/thread-11455-1-1.html），47.2GB的xml实在是让我无语，后来在o大的指导下找见了不错的replace pioneer,但是分割处理这么大的文件依然不给力。几经周折，找见了这款鲜为人知但是功能极为强大的xml分割工具，可以分割我的47.2gb的xml。售价貌似99刀，我只是想试用一下，没想到有1gb限制，所以自编程序怒破解之，分享给大家，但是仅限私下使用哦

此软件为英文，但是功能确实很强大，截几张图给大家吧：

ps:不知道为什么i-wiki大大的引擎出了什么问题，无法转换。问题是我随便转了某个较小的外语xml成功，转换这个却失败，悲催啊，求教

所以先放出这个工具给大家带来点方便。

破解方法：先安装程序。之后把XmlSplit_Crack.exe改名为XmlSplit.exe放入程序文件夹内覆盖原文件（源文件必须备份），运行程序，随便输XXX就注册成功了，然后恢复原来的XmlSplit.exe即可。天杀的360竟然报毒！请关闭360，注册完以后就可以打开360了。

http://pan.baidu.com/s/1eQoIY
密码pqw4

hyln9 · 发表于 2013-11-24 22:45:37

此楼备用

Oeasy · 发表于 2013-11-24 22:50:06

关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.html相册里都100+张图了），再从相册中选择图片插入，注意验证回答上方“本地化远程图片”前的复选框不要勾选！！！这样图片就能大大地显示出来了。{:5_227:}

hyln9 · 发表于 2013-11-24 22:51:41

Oeasy 发表于 2013-11-24 22:50 , @0 q2 E$ g& P$ I; r& h3 W
关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.htm ...

我说是怎么回事，谢谢了！

yisdict · 发表于 2013-11-24 22:55:32

可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

hyln9 · 发表于 2013-11-24 23:05:42

yisdict 发表于 2013-11-24 22:55
3 S# h& B* [5 |# ^( ~( t可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

谢谢，我试试！不过aard是什么？

hyln9 · 发表于 2013-11-24 23:08:59

本帖最后由 hyln9 于 2013-11-24 23:16 编辑

hyln9 发表于 2013-11-24 23:05
4 ^! f: p4 f" ]$ D6 }& A谢谢，我试试！不过aard是什么？

哦，aard查到了，比我现在用的好啊！我现在用fastwiki和kiwix，前者有公式制作工具不过排版一般，后这简直是完美的无图wiki，但是英文版太大了只更新到了2012年，中文有2013的，不过有mdict版的了，也就不用了。

现在没有linux环境，看来得过一段时间再说了。另外期待唯吾无为老大的新引擎！

STFU · 发表于 2013-11-25 01:37:03

lz可以寫破解的程式?!
那怎麼沒試試寫解析的引擎?!

hyln9 · 发表于 2013-11-25 17:20:44

STFU 发表于 2013-11-25 01:37 3 W0 n: Y6 ]' F7 M1 E
lz可以寫破解的程式?! X1 I8 o1 Z( N2 l7 O% x" k
那怎麼沒試試寫解析的引擎?!

引擎太复杂，我又没时间

其实这个程序破解起来还是比较容易的,我就是把它的验证给替换了一下而已。

hyln9 · 发表于 2013-12-3 18:52:58

图片算是显示完整了

louislaolu · 发表于 2013-12-3 19:28:37

凡是能够编写程序，我都100分的崇拜。

163.wangg · 发表于 2014-11-26 11:07:25

辛苦支持

blueyi · 发表于 2014-12-29 13:56:42

能不能再发分享一次，谢谢

blueyi · 发表于 2014-12-31 13:10:51

楼主能不能把那XMLSPLIT再给我分享一份，谢谢

timrabin · 发表于 2018-5-14 00:42:57

求分享xmlsplit，打不开了。谢谢！

GL_n · 发表于 2018-5-14 06:21:32

请问楼主@hyln9能否重新分享一下你的百度盘链接？

zengjatzau · 发表于 2018-11-16 20:03:31

网盘链接已失效，能否再分享一次?

mikeee · 发表于 2018-11-16 21:27:49

'''
5 d$ h4 h% |/ I p( o$ C
Based on xmllarge.py
2 c$ k2 x9 N6 t( {. F
'''. E1 C; i9 D' k) G s
# from pyquery import PyQuery as pq
( t! G8 I% [- Q5 ^& W
from pathlib import Path4 N& x! x: G7 o: l% A
9 l' X/ _) i. w4 a- n# i2 a& l' ~: O
4 N: m. p2 K! C1 m" {
def xml_iter(file, tag):8 [3 @2 m# f+ w! ~
'''2 _2 x8 N0 j/ `! R* V- @
Process huge xml files
6 o& X x+ f5 p+ `4 _: Y8 \
<tag> </tag> need to be in separate lines
& W9 G! e( I7 A3 x) Y. T4 s
# TODO: in the middle of lines
+ z8 T5 m+ v6 t: A D2 P' @
9 Y. O, d. q: S+ m+ n
:file: file path
5 {$ k# ?4 v) {- u
:tag: element to retrieve$ f1 z* P, b6 j7 i/ ~0 M
'''
" L D" q6 f! d2 X2 U4 C
tagb1 = '<' + tag + '>'
: B/ w! t5 z8 I4 v+ ]$ q
tagb1 = tagb1.encode()* F5 L: c4 _9 t6 S5 d" |
' D/ ]7 Q& F0 _: p! T" L
2 ]1 K4 B8 s2 Q; |( ]# l0 O; t
tagb2 = '<' + tag + ' '
, |; h/ i" O! u* J. l
tagb2 = tagb2.encode()% B8 ~7 O9 p m6 f; b
4 R+ u" Q2 N% y2 w1 \0 h8 \# p, o4 S
tagb3 = '</' + tag + '>'
2 }9 j+ ?$ p3 ~7 R
tagb3 = tagb3.encode()4 q# P' b, f0 M) Z5 P
' N$ W! T! z! L3 `9 U% T
with open(file, 'rb') as inputfile:
j2 p1 } i( H) _
append = False( I( v/ }& P$ M8 l
for line in inputfile:. I. }' X- x/ _, h7 ^" m+ l
#~ if b'<tu>' in line or b'<tu ' in line:
/ ~- R. m- i( v
if tagb1 in line:
/ P% v& X3 M8 m2 ~# h0 B! ~
inputbuffer = line[line.index(tagb1):]* y X6 n3 R" ~
append = True; U( k% g a. a: r+ q. E* v
elif tagb2 in line:7 q3 H; }: B. j
inputbuffer = line[line.index(tagb2):]6 E+ U5 }; K2 o' L X6 a) c6 l
append = True) \3 R4 L+ n, X! Q$ I( l
#~ elif b'</tu>' in line:* S( p& T$ [1 b; {" B3 U1 c
elif tagb3 in line:) d+ g5 ?: D7 j
inputbuffer += line[:line.index(tagb3) + len(tagb3)]
& P% z& A5 p7 p3 r0 h, D! ?
append = False, x( `# N. @& z/ G, G4 k0 I
yield inputbuffer
+ d- h3 b' N# t6 x9 s( P+ T/ ?
#~ docitem = process_buffer(inputbuffer, id_num)* a4 ~$ ]# V q. E$ J5 G% j
#~ print(id_num)
0 G6 K; G/ N" F) U5 P1 s
#~ id_num += 18 {( z& M; Q& X- h4 ]8 f& k
inputbuffer = b''/ K2 x9 ?8 ~" b5 A2 O: \
elif append:
4 g/ }* ]/ @* ]. T1 C
inputbuffer += line

复制代码

这么多人找这东西？我过一阵打包发个小工具。

上面的python3函数用法
resu = ''
for elm in xml_iter(filename, 'tu'):
resu += elm

内存足迹极小……不管文件多大。

jonah_w · 发表于 2019-1-19 18:47:48

这个工具链接失效了，可以再分享下么

jonah_w · 发表于 2019-1-19 18:48:19

mikeee 发表于 2018-11-16 21:27' d; I3 O( [7 e) R
这么多人找这东西？我过一阵打包发个小工具。0 J, x: m% E q$ I. ~
W1 ]) Q9 q) w6 Q
上面的python3函数用法

就喜欢这种一言不合自己写工具的，后面看看你的代码

		自动登录	找回密码
密码			免费注册

[工具] 分割xml/html等文件必备：xmlsplit

本帖子中包含更多资源