分割xml/html等文件必备：xmlsplit

hyln9

2 \1 `3 L4 S4 n' Y: v
之前打算制作英文维基20131104（https://www.pdawiki.com/forum/thread-11455-1-1.html），47.2GB的xml实在是让我无语，后来在o大的指导下找见了不错的replace pioneer,但是分割处理这么大的文件依然不给力。几经周折，找见了这款鲜为人知但是功能极为强大的xml分割工具，可以分割我的47.2gb的xml。售价貌似99刀，我只是想试用一下，没想到有1gb限制，所以自编程序怒破解之，分享给大家，但是仅限私下使用哦

+ p) P: j! s& Z6 M; G" R此软件为英文，但是功能确实很强大，截几张图给大家吧：
, ^) J' f0 `) w5 \: n/ t
7 X4 J) i+ [# y' S4 [! `



" A. ?2 M' R* m& G, W$ O( N% N

ps:不知道为什么i-wiki大大的引擎出了什么问题，无法转换。问题是我随便转了某个较小的外语xml成功，转换这个却失败，悲催啊，求教 所以先放出这个工具给大家带来点方便。
* D6 H; k1 M, p5 _% W6 {
* C" k& B. i5 |0 I- d3 |破解方法：先安装程序。之后把XmlSplit_Crack.exe改名为XmlSplit.exe放入程序文件夹内覆盖原文件（源文件必须备份），运行程序，随便输XXX就注册成功了，然后恢复原来的XmlSplit.exe即可。天杀的360竟然报毒！请关闭360，注册完以后就可以打开360了。
4 C) F1 g4 e/ F  }! w. g' V
http://pan.baidu.com/s/1eQoIY
' ~5 f4 z7 A- z: Y密码pqw4

2 \& T2 N( Z. ~% ^' v9 \- R8 w2 ]; x# w

hyln9

此楼备用

Oeasy

关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.html相册里都100+张图了），再从相册中选择图片插入，注意验证回答上方“本地化远程图片”前的复选框不要勾选！！！这样图片就能大大地显示出来了。{:5_227:}

hyln9

Oeasy 发表于 2013-11-24 22:50
关于图片显示，论坛有bug，我是先把图片上传到相册（你看我https://pdawiki.com/forum/space-uid-147948.htm ...

我说是怎么回事，谢谢了！

yisdict

可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

hyln9

yisdict 发表于 2013-11-24 22:55
) m# ?( ]5 T" W& r可以试试superfan89的引擎，转出效果应该和aard一样，不过我没试过。

  e, J. g& ?! l2 b, h2 v8 v谢谢，我试试！不过aard是什么？

hyln9

hyln9 发表于 2013-11-24 23:05
谢谢，我试试！不过aard是什么？

1 D! _1 R& R6 V4 h8 ^, M
哦，aard查到了，比我现在用的好啊！我现在用fastwiki和kiwix，前者有公式制作工具不过排版一般，后这简直是完美的无图wiki，但是英文版太大了只更新到了2012年，中文有2013的，不过有mdict版的了，也就不用了。

现在没有linux环境，看来得过一段时间再说了。另外期待唯吾无为老大的新引擎！

STFU

lz可以寫破解的程式?!
那怎麼沒試試寫解析的引擎?!

hyln9

STFU 发表于 2013-11-25 01:37
  F) B( g6 K0 z' V6 v+ vlz可以寫破解的程式?!
那怎麼沒試試寫解析的引擎?!

7 [% p, h3 n- k! c引擎太复杂，我又没时间其实这个程序破解起来还是比较容易的,我就是把它的验证给替换了一下而已。

hyln9

图片算是显示完整了

louislaolu

凡是能够编写程序，我都100分的崇拜。

163.wangg

辛苦支持

blueyi

能不能再发分享一次，谢谢

blueyi

楼主能不能把那XMLSPLIT再给我分享一份，谢谢

timrabin

求分享xmlsplit，打不开了。谢谢！

GL_n

请问楼主@hyln9能否重新分享一下你的百度盘链接？

zengjatzau

网盘链接已失效，能否再分享一次?

mikeee

1. '''
   
2. Based on xmllarge.py
   
3. '''
   
4. # from pyquery import PyQuery as pq
   9 C% M" E; o: d; Z3 ^- y; |
5. from pathlib import Path
   ) R1 F4 l- H5 x0 y1 H  q: g# K
6. 
   
7. 
   0 f; f: ^$ i" @: i) u* a, S
8. def xml_iter(file, tag):
   ) E, |, _* [$ u  {, O) r
9.     '''
   : p( u: M' r1 C; h5 ^
10.     Process huge xml files
    - C; ~# J' @2 N1 R: a& W5 z
11.     <tag> </tag> need to be in separate lines
    
12.     # TODO: in the middle of lines
    3 a, J; F/ q' n4 Z. y
13. 
    
14.     :file: file path
    
15.     :tag: element to retrieve
    
16.     '''
    . i, P2 N8 ~) U% v4 X: Y4 w! d( o
17.     tagb1 = '<' + tag + '>'
    
18.     tagb1 = tagb1.encode()
    
19. 
    
20. 
    
21.     tagb2 = '<' + tag + ' '
    
22.     tagb2 = tagb2.encode()
    + c2 x" J8 ~% H5 d& i- f% d
23. 
    
24.     tagb3 = '</' + tag + '>'
    
25.     tagb3 = tagb3.encode()
    $ Z4 n, ~: D4 b' {2 {! F2 z1 s' Y
26. 
    
27.     with open(file, 'rb') as inputfile:
      W& Y% \0 d; o3 [% Q& k$ R
28.         append = False
    % w# G6 x3 q( W
29.         for line in inputfile:
    ; w+ N- [: e5 d# J/ f2 j7 f. C
30.             #~ if b'<tu>' in line or b'<tu ' in line:
    
31.             if tagb1 in line:
    
32.                 inputbuffer = line[line.index(tagb1):]
      ]0 B- Y" W+ g5 ]* _* b
33.                 append = True
    7 G8 |: W6 j; h/ c9 u1 t
34.             elif  tagb2 in line:
    
35.                 inputbuffer = line[line.index(tagb2):]
    
36.                 append = True
    
37.             #~ elif b'</tu>' in line:
    0 D) A7 S7 ?, y7 v5 q( Q: @
38.             elif tagb3 in line:
    
39.                 inputbuffer += line[:line.index(tagb3) + len(tagb3)]
    
40.                 append = False
    * E- y: n/ q2 R1 o% [6 G
41.                 yield inputbuffer
    ' m+ r$ [7 a9 m2 w. n$ S( g9 `
42.                 #~ docitem = process_buffer(inputbuffer, id_num)
    
43.                 #~ print(id_num)
    " W( n5 P, Q+ T/ w# ^
44.                 #~ id_num += 1
    - B" k2 I- J8 k! ?
45.                 inputbuffer = b''
    8 ^. M5 r* @! C& P: K) c, ]
46.             elif append:
    
47.                 inputbuffer += line

复制代码

) |1 t+ M! T* K0 x0 ^* l5 {" u
+ @, r, |2 m" _7 N& v& H这么多人找这东西？我过一阵打包发个小工具。
; t0 L$ H4 e  N/ Z- g
- h# P5 F7 L8 }+ A上面的python3函数用法
resu = ''
/ e1 g) D& O0 l' H- Q% xfor elm in xml_iter(filename, 'tu'):
& b4 ^/ {# F; a" m3 m& y    resu += elm
3 h7 Q- X7 k; z$ N3 x* i, {
内存足迹极小……不管文件多大。

jonah_w

这个工具链接失效了，可以再分享下么

jonah_w

mikeee 发表于 2018-11-16 21:27
! V  o* y# M) P; b0 n8 s2 o9 D1 N6 q6 W这么多人找这东西？我过一阵打包发个小工具。
( G. ~# l: j, }+ B) i; h/ p
" W+ E  V1 j7 p- }% L3 a% w上面的python3函数用法

! y3 E( z8 K. e, Y) f7 _就喜欢这种一言不合自己写工具的，后面看看你的代码