分割xml/html等文件必备：xmlsplit

hyln9

# m6 I' k0 Q6 _2 l! j5 ~- d- ^之前打算制作英文维基20131104（https://www.pdawiki.com/forum/thread-11455-1-1.html），47.2GB的xml实在是让我无语，后来在o大的指导下找见了不错的replace pioneer,但是分割处理这么大的文件依然不给力。几经周折，找见了这款鲜为人知但是功能极为强大的xml分割工具，可以分割我的47.2gb的xml。售价貌似99刀，我只是想试用一下，没想到有1gb限制，所以自编程序怒破解之，分享给大家，但是仅限私下使用哦
. v5 l& q& r+ H' b) {- k, U
* n+ P% d/ @% r, O$ t% K- v此软件为英文，但是功能确实很强大，截几张图给大家吧：

, r; C: s( u5 }' @0 Y

0 d  C6 B  N  p



4 \. G% L* V: ~; @* Eps:不知道为什么i-wiki大大的引擎出了什么问题，无法转换。问题是我随便转了某个较小的外语xml成功，转换这个却失败，悲催啊，求教 所以先放出这个工具给大家带来点方便。

% k9 v- Q" u3 D) s# z8 v; u破解方法：先安装程序。之后把XmlSplit_Crack.exe改名为XmlSplit.exe放入程序文件夹内覆盖原文件（源文件必须备份），运行程序，随便输XXX就注册成功了，然后恢复原来的XmlSplit.exe即可。天杀的360竟然报毒！请关闭360，注册完以后就可以打开360了。

& c; L8 ~2 {$ ~' _, l' x$ qhttp://pan.baidu.com/s/1eQoIY
密码pqw4
9 z$ S# N1 E: Q& O
2 Q5 b! Q, y' f$ `- N6 `

hyln9

此楼备用

Oeasy

关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.html相册里都100+张图了），再从相册中选择图片插入，注意验证回答上方“本地化远程图片”前的复选框不要勾选！！！这样图片就能大大地显示出来了。{:5_227:}

hyln9

Oeasy 发表于 2013-11-24 22:50
  a3 ~/ Y( P2 ~9 E+ X# b0 `0 j关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.htm ...

我说是怎么回事，谢谢了！

yisdict

可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

hyln9

yisdict 发表于 2013-11-24 22:55
4 h; z' Y$ H$ n% ^可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

谢谢，我试试！不过aard是什么？

hyln9

3 S7 B. u6 m" A$ G9 o2 [) w

hyln9 发表于 2013-11-24 23:05
谢谢，我试试！不过aard是什么？

# _% N- Y; N6 _$ ^0 i0 o
哦，aard查到了，比我现在用的好啊！我现在用fastwiki和kiwix，前者有公式制作工具不过排版一般，后这简直是完美的无图wiki，但是英文版太大了只更新到了2012年，中文有2013的，不过有mdict版的了，也就不用了。
- d$ A$ v# v  O" b# H# y
* t. \+ P1 ~# S2 U: _现在没有linux环境，看来得过一段时间再说了。另外期待唯吾无为老大的新引擎！

STFU

lz可以寫破解的程式?!
那怎麼沒試試寫解析的引擎?!

hyln9

STFU 发表于 2013-11-25 01:37
7 [( L5 _8 z4 [4 ?& \lz可以寫破解的程式?!
. G' c/ a7 w" |; n# h+ w; N那怎麼沒試試寫解析的引擎?!

4 D# Y1 z1 n% ?5 q+ j/ L3 k引擎太复杂，我又没时间其实这个程序破解起来还是比较容易的,我就是把它的验证给替换了一下而已。

hyln9

图片算是显示完整了

louislaolu

凡是能够编写程序，我都100分的崇拜。

163.wangg

辛苦支持

blueyi

能不能再发分享一次，谢谢

blueyi

楼主能不能把那XMLSPLIT再给我分享一份，谢谢

timrabin

求分享xmlsplit，打不开了。谢谢！

GL_n

请问楼主@hyln9能否重新分享一下你的百度盘链接？

zengjatzau

网盘链接已失效，能否再分享一次?

mikeee

1. '''
   
2. Based on xmllarge.py
   
3. '''
   5 i* J, j. }+ I. Q
4. # from pyquery import PyQuery as pq
   
5. from pathlib import Path
   
6. 
   # W  w+ Q2 h. S
7. 
   , E* U! s5 k% R; f4 T- k
8. def xml_iter(file, tag):
   
9.     '''
   9 c1 Y  J' n  f4 b2 d/ \+ a
10.     Process huge xml files
    
11.     <tag> </tag> need to be in separate lines
    
12.     # TODO: in the middle of lines
    - m; r  \; D- o1 g5 w/ s
13. 
    # O- _( ?2 |" Q0 v: e4 H
14.     :file: file path
    
15.     :tag: element to retrieve
    
16.     '''
    
17.     tagb1 = '<' + tag + '>'
    
18.     tagb1 = tagb1.encode()
      e& h. r" l* O4 N8 \) l
19. 
    ) q) m/ M6 W3 P" L9 _
20. 
    
21.     tagb2 = '<' + tag + ' '
    
22.     tagb2 = tagb2.encode()
    
23. 
    
24.     tagb3 = '</' + tag + '>'
    ) U$ g! L" ^" d, {" r- t3 w
25.     tagb3 = tagb3.encode()
    * J9 }4 F  \1 t/ J. }; q
26. 
    
27.     with open(file, 'rb') as inputfile:
    5 e4 n9 D- s& c* u9 p1 O
28.         append = False
    
29.         for line in inputfile:
    
30.             #~ if b'<tu>' in line or b'<tu ' in line:
    
31.             if tagb1 in line:
    
32.                 inputbuffer = line[line.index(tagb1):]
    
33.                 append = True
    
34.             elif  tagb2 in line:
    : p* g" A$ E% g, h8 |, G  f
35.                 inputbuffer = line[line.index(tagb2):]
    7 [; m0 b1 y! O; u6 k) ^
36.                 append = True
    7 W. P, E+ c" G, _4 k% N3 `* ^
37.             #~ elif b'</tu>' in line:
    5 T4 u5 U$ f8 B9 O- [
38.             elif tagb3 in line:
    
39.                 inputbuffer += line[:line.index(tagb3) + len(tagb3)]
    9 a2 ~6 O" Z" D/ M) R& u
40.                 append = False
    
41.                 yield inputbuffer
    
42.                 #~ docitem = process_buffer(inputbuffer, id_num)
    - a3 L( j* ]) y' ^
43.                 #~ print(id_num)
    
44.                 #~ id_num += 1
    
45.                 inputbuffer = b''
    9 }9 H4 c# C8 l( z6 J' e; q
46.             elif append:
    
47.                 inputbuffer += line

复制代码

8 B+ {% a( q8 f$ x- L这么多人找这东西？我过一阵打包发个小工具。
( _0 v; o, n5 P, L' U/ K
上面的python3函数用法
resu = ''
( h$ h6 y, X& w& Ifor elm in xml_iter(filename, 'tu'):
    resu += elm
% k2 l  Z, v$ G% [  {" V' T
/ S% ?( W0 K7 N5 y) b内存足迹极小……不管文件多大。

jonah_w

这个工具链接失效了，可以再分享下么

jonah_w

mikeee 发表于 2018-11-16 21:27
# n2 T) d) o/ r这么多人找这东西？我过一阵打包发个小工具。

) t& T! ~8 [  ~) K. c4 Z; W: B上面的python3函数用法

+ {2 i3 [+ i( X+ b: a/ Z" q就喜欢这种一言不合自己写工具的，后面看看你的代码