怎样处理超长文本的换行【用二进制加载克服emedior换行速度慢的问题】

许一诺

8 z/ @) S9 ~4 b, |
怎样处理超长文本的换行【用二进制加载克服emedior换行速度慢的问题】
! u/ D& t" R/ y+ N- q

我是针对这样的问题写的：
见sky66在https://www.pdawiki.com/forum/fo ... =%B1%E0%BC%AD%C6%F7的发言
“我个人最常使用 EmEditor (LIFETIME 价格约 $120)来处理 mdx 源文件, 主要是有方便的提取功能和批处理, 而且打开大文件速度很快, 最致命的缺点就是正则处理 \n 速度很慢.
这时候就要使用免费的 Notepad++ 来代劳处理 \n 了. Notepad++ 处理大档案有时会有一些问题, 而且没有方便的提取功能和批处理, 个人不习惯用来处理 mdx 源文件.
UltraEdit, 当然可打开大文件, 正则替换也很快, 但就是打开文件速度有点慢. 还有 Unlimited upgrades 的价格约 $300, 是 EmEditor 的两三倍, 比 Office 还贵, 实在买不下手.
还有其他的编辑器, 大多有约略测试一下, 不是不顺手就是难以处理大文件.”

. v$ p: C* L2 w1 X用论坛发许多图不方便，我就把文档输出为图片了，请直接看下面的5张图：






. m; F& S$ z5 z4 h
下面是文字说明：
% S* I! P; g2 Temeditor是非常适合打开超大文件的编辑器，不过它处理换行非常不便。
下面截图中的文档超过1500万行，使用普通方式将\r\n\r\n转换为\r\n（也就是把空两行变成空一行非常慢）
$ J4 ]" V* c1 j! Z# a
对于这种问题以前有人建议用notepad++处理，其实也还是很慢的（1500万行估计要等10分钟以上）

下面我来说一个快的方法（只需要几秒）
如果在下面这个800万行的文本中把<br>变成\r\n（即将html的换行记号变成文本中的换行）

% U% t- r1 v1 M/ d我们把文档重新载入，用“二进制（十六进制视图）”
文档变成这样：

6 o& g1 T" n) e4 {. f6 I文本自然的换行完全被打乱。左边是二进制数据，右边是对应的文本（换行符号显示为..（也就是两个点））。
# B4 e8 f8 t) s" W) z$ ~7 O
此时我们通过点击右边的文本，了解到：
0 G( g/ I0 ~: ^) T4 x<br>对应二进制为3C 62 72 3E
5 c1 l- w  ~2 x2 {
\r\n在后边显示为“..”，点击得知，对应二进制0D 0A
此时我们开始替换：
+ Z9 S5 _+ ^- O, k1 n( N/ @
$ K8 K4 s' }# x. S. F! b2 |% t如上图，把“3C 62 72 3E”替换为“0D 0A”，可以看到替换速度极快，如下图：

+ e, K! L. [0 ^替换完之后，默认对再搜索一遍有多少个3C 62 72 3E，如下图。

之后文本变成这样（如下图），有些行的长度减少了：
, Z7 N7 N  V( G* |3 B
保存文本，需要几秒钟时间：
' A. K" [3 W, f' C8 a, h
再重新打开文本（用普通方式打开），可以发现全部<br>都变成了换行。
# J1 Y; Z  b+ h; h
1 u6 d+ L9 F3 k7 f$ p【总之，我这个方法就是让exeditor避免了普通文本的换行，改为用二进制模式处理，该模式下换行符号体现为普通字符。】
: ~; ~! V$ V* e


后来发现的问题
: E5 S: D. L" b, V, Y6 R
可能是因为我选取的文档比较特殊，<br>的二进制代码“3C 62 72 3E”都不跨行。
  k* y' V9 Z6 r7 `所以替换中没有问题，实际上可能会出现这样的情况：
文本：

二进制加载

: i% o" N; t% H' s" w$ p2 ]" z
  B! |+ g) _! ?) m% c注意第4个<br>在换行的位置，这样用替换就处理不到（二进制下不能换行）。
/ t' o$ I9 h4 q# Q$ f( \
& H+ o1 @; g! G0 a" P0 D因为“3C 62 72 3E”是四个单位，所以<br>被“中间割断”的情况有4种：4=4+0=3+1=2+2=1+3
我的解决方法是：
/ d( E( {% C* V) Y2 B1. 给“3C 62 72 3E”替换为“0D 0A”录制一个宏，比如叫做macro.jsee
2. 运行一次宏，保存文本，在文本头加一个“3C”，也就是一个“<”字符。
- s3 C2 Y& t0 g/ f3. 保存，重新打开，加载为二进制，再运行一次宏。
) J1 C; B% _# m$ C: L3 \+ ?& R4. 再重复步骤3两次。
6 r# e+ @. E/ J+ l; w+ K1 F" M
下面我要指出emeditor的几个特点：
. M  E/ v$ C# n; W: [1. 按照“行”来处理替换等操作，所以只要不跨行执行速度就快（比如“抽取符合条件的行”），跨行就慢。
( b$ N0 m- D8 v; }6 H! b2. 但是如果一行非常长，处理起来也会很慢，比如把一个几千万行的文本换行全部取消变成一个一行的文件再执行替换操作。
3 o7 h6 L; K- j+ Q+ c! H; d- m' j3. 综上，emeditor擅长处理每行不是非常长（不达到几十万个字符），但是行数特别多的文本。
4. emeditor有一个快速处理行的转换的功能，就是“保存文件”，每次保存并重新打开为二进制，都会重新排版。

skydan05

了不起！赞一个！

mingqing007

8 e) l5 E( U9 B! H3 ]) Y哈哈，好办法，感谢分享，回头试试看。

& o5 U; r, s$ t" S8 \EMEditor处理换行速度确实不佳，Notpad++处理大文件时长处理不完全。
0 q  I) r+ w/ \3 }4 S4 ]4 i% I' @


- P$ n7 h; T# _- k传送门：https://www.pdawiki.com/forum/forum.php?mod=viewthread&tid=19749&page=1&extra=#pid449490

chigre3

好经验，之前一直用UltraEdit处理大量换行替换

mingqing007

. k* Q- V& a8 i( X* c6 U7 C
看到另一种用命令行模式提速换行符处理的的方法。

0 d  h" ]% w4 l没有测试过，不知是否好用，也贴在这里吧，留个有心人有时间测试一下：

https://www.emeditor.com/forums/ ... its-very-very-slow/


5 q; ]2 A1 |# A3 g* E9 n----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

9 Z# l7 [/ A% y- KThe graphical interface seems to slow it down when it’s doing \n or \r or \r\n , etc.
! D2 Q4 H& r) F+ w# ?" x7 j0 O
Make the change from command prompt. I have a 7mb doc that is just numeric CSV data – like this 234, 345, 111, etc. From the command prompt the change to the file is practically instant.
' l5 ]: k: @1 R/ {
Here I am replacing comma space with new line.
, I1 f0 A( n: ^- Y( i( g# c
, a; C, ^; D3 [. j, b) Zc:\emeditor /fi “, ” /x “c:\output2.txt” /rw “\r\n”
3 h9 p+ a* o! J" C0 g- Z
& ]0 H- i1 A* x/ S+ g4 N- M7 i. T+ eIt is the same speed to go in the other direction.
& w, W4 W- [9 X7 E% k
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

macos6

chigre3 发表于 2017-1-30 18:34
好经验，之前一直用UltraEdit处理大量换行替换

同意这个；UE处理换行速度没的说。

y8888

试了一下，对小文件是可以，但对大文件则进不了二进制模式.

onlyXXenglish

各种方法我都用过，最终我的选择是把超大文件分割成多个小文件，再用文本编辑类软件通常都有的“在文件中查找替换”解决换行问题。这样既可以兼顾效率，又能避免文本编辑类软件在编辑超大文件时容易出错的问题。

sky66

mingqing007 发表于 2017-1-30 21:08
* C; d0 q; m% M  H& f看到另一种用命令行模式提速换行符处理的的方法。

4 m. L% n  h1 M( O. K1 I5 T没有测试过，不知是否好用，也贴在这里吧，留个有心人 ...

- g8 ?4 j' a4 w, }4 C7 m3 X- J之前我有测试过命令行模式, 很可惜..还是很慢.

sky66

二进制方式我也试过, 的确是有效, 适用于较简单的替换

但处理mdx麻烦的地方在于有些分段比较复杂, 是需要用到正则删除多余的内文与\n
5 }7 ]# M! M( [0 B* X- [- e像是网页下来的文本 : <head>\n...<title>...</title>\n...</head>\n...</body>\n</html>\n

6 ^9 y, F$ `. a8 L$ u如果直接用Emeditor 将 <head>\n 替换为 "空", 须花较长的时间
  [+ n  Z* ~8 C" H! `/ u( ]. P如果先将 <head> 替换 为 "空",  再将 \n 设为"书签" => "删除书签" 的方式, 就会很快..

mingqing007

sky66 发表于 2017-2-9 19:21
- L" i6 G8 M4 E) U8 v5 c之前我有测试过命令行模式, 很可惜..还是很慢.

SublimeText 貌似不存在这个问题. 可以试试看.

deeke

在我的机器上，Sublime Text 打开170MB-200MB的txt还是会卡。今天我准备试试看VSCode。

henices

直接 sed 就可以了，用 perl 也行。

sky66

今天使用 EmEditor v16.6.0 beta 1 实际测试三百万行的colmdx txt,
</div>\n 替换为</div>
+ I( M1 o3 h$ ]" E9 Y已经有大幅度的改善了.
+ z1 X+ \7 u. Q8 e) X- L; L* h9 h
. q; E4 [7 J' n6 X) H正则引擎选 Onigmo 又比 Boost.Regex(默认) 更快
3 H+ W. L- Y* O

greatszh

算是个思路吧，有点胡搞乱搞的瞎折腾的感觉，不知道各位在折腾繁简转换的时候用没用过lopencc,处理几百兆的文件基本秒杀。其中opencc有一个自定义字典的功能，如果各位把想要替换的字符定义到opencc的自定义字典里，看看啥效果？