TA的每日心情 | 开心
2023-10-30 09:58 |
|---|
签到天数: 350 天 [LV.8]以坛为家I
|
本帖最后由 许一诺 于 2017-1-30 20:25 编辑 ( e( ]& w0 _: p+ @$ M) d/ e
: d9 E3 L: |+ L+ t怎样处理超长文本的换行【用二进制加载克服emedior换行速度慢的问题】6 f3 s4 _% I+ W W
$ z. @5 e) n7 y3 n* Z) A7 @( N" V
我是针对这样的问题写的：
5 }/ X, \- x0 i+ H( r$ x- L' P见sky66在https://www.pdawiki.com/forum/fo ... =%B1%E0%BC%AD%C6%F7的发言0 ?8 _) ]5 E! ~1 ~, K' Y* X
“我个人最常使用 EmEditor (LIFETIME 价格约 $120)来处理 mdx 源文件, 主要是有方便的提取功能和批处理, 而且打开大文件速度很快, 最致命的缺点就是正则处理 \n 速度很慢.
$ c/ m7 ]8 D C3 ~这时候就要使用免费的 Notepad++ 来代劳处理 \n 了. Notepad++ 处理大档案有时会有一些问题, 而且没有方便的提取功能和批处理, 个人不习惯用来处理 mdx 源文件.
+ K, P+ \, s. V! }, }/ R5 j. xUltraEdit, 当然可打开大文件, 正则替换也很快, 但就是打开文件速度有点慢. 还有 Unlimited upgrades 的价格约 $300, 是 EmEditor 的两三倍, 比 Office 还贵, 实在买不下手.
M y8 R+ K- T N, \4 P还有其他的编辑器, 大多有约略测试一下, 不是不顺手就是难以处理大文件.”
* d! u) B5 L' F* x0 S/ p5 x
! S* h0 d ^8 d6 ~9 `用论坛发许多图不方便，我就把文档输出为图片了，请直接看下面的5张图：3 h: v( l6 n# M+ R$ e. p
, }3 x( z& w# }! Z/ I* i- R+ j % x: ?6 n+ S Q
 5 @* v3 } z3 t% k2 [
5 O, y! z) P) [' k" D/ \ 4 L7 C7 Y/ g0 u( _9 W
9 b( ]/ V0 ]' E6 P, f
8 L, ?3 S# C4 [) H9 s* S/ N下面是文字说明：. r( w/ J" `7 n- C
emeditor是非常适合打开超大文件的编辑器，不过它处理换行非常不便。
0 q: l, W( q8 q9 e& p下面截图中的文档超过1500万行，使用普通方式将\r\n\r\n转换为\r\n（也就是把空两行变成空一行非常慢）6 o! ~/ V- w: Y" b, q1 m8 d) f. [
' _; ^1 h# I( r" y7 Q4 D! P4 C# {% K
对于这种问题以前有人建议用notepad++处理，其实也还是很慢的（1500万行估计要等10分钟以上）
4 L* ]9 I' ] J7 F
* C. U0 F/ H% x下面我来说一个快的方法（只需要几秒）
& K3 y0 z$ E9 U) O: g7 S) F如果在下面这个800万行的文本中把<br>变成\r\n（即将html的换行记号变成文本中的换行）- I3 n8 R% t( D3 j( A% z' ]* u4 K) j2 K
3 ^4 Z; Z; T9 a# S. H我们把文档重新载入，用“二进制（十六进制视图）”
5 Y! p! j! [$ v3 s4 V文档变成这样：
$ [- e, t2 E/ _) r
+ @+ \' ]6 N- \$ H1 {文本自然的换行完全被打乱。左边是二进制数据，右边是对应的文本（换行符号显示为..（也就是两个点））。
; G8 @, A' z% o& Y& Y& i$ ] $ i6 t! x" \4 y/ X
此时我们通过点击右边的文本，了解到：8 E0 G* p( Q# s: ?
<br>对应二进制为3C 62 72 3E: Q- ^' M$ Y0 a& e) c6 i
6 E, _* f* w, p9 B1 Q( E& n/ j
\r\n在后边显示为“..”，点击得知，对应二进制0D 0A
+ d1 k A2 X, Y# Z" U此时我们开始替换：0 E' ]& t n5 Q4 y0 u7 Y
* n! C! ?% z2 I3 ?+ g如上图，把“3C 62 72 3E”替换为“0D 0A”，可以看到替换速度极快，如下图：6 _) f3 f# H2 X+ w! D6 S5 I
9 W* x( s7 M$ `8 q5 {
替换完之后，默认对再搜索一遍有多少个3C 62 72 3E，如下图。) ]: X* b* z9 _2 m9 E1 m
& }7 M9 u4 R# b9 N- B' T, s之后文本变成这样（如下图），有些行的长度减少了：2 _$ p. q( K3 p9 t
7 G) F2 g. d. F/ i- S0 c保存文本，需要几秒钟时间：
! n, U$ D% O# V4 r n 0 x9 N6 {* `! L) h+ H& @7 [
再重新打开文本（用普通方式打开），可以发现全部<br>都变成了换行。
" c4 ?9 v0 Z- p' ]' T 0 u, U+ P* \8 g0 g5 }) y- R
【总之，我这个方法就是让exeditor避免了普通文本的换行，改为用二进制模式处理，该模式下换行符号体现为普通字符。】
; ^- A/ b9 F4 w/ ?
/ C# A8 U1 h/ m8 p0 y3 } v T4 n' D1 b( [' h
5 H! x4 D2 }5 j. T2 ~+ M$ j0 J B0 y" S
后来发现的问题
) n* |5 A) B w0 H2 h* K) T
) a3 }; n6 S+ V# p4 ^1 x: B7 b可能是因为我选取的文档比较特殊，<br>的二进制代码“3C 62 72 3E”都不跨行。
5 R0 T( z. L l& T所以替换中没有问题，实际上可能会出现这样的情况：
$ X6 |2 G+ }4 Z% g' d6 _文本：
2 @- n) Q, W2 G! L I8 r7 g; Y
/ y& ^3 p% _0 W二进制加载
! h) v# k1 `1 g0 Y. S
# `& `- j" v* x% Z% W" |$ Z( D3 W2 ~3 w( A7 d" x$ ~
注意第4个<br>在换行的位置，这样用替换就处理不到（二进制下不能换行）。3 Z" Y T5 U0 j# k _* u$ d
9 F! q' S7 E i8 E3 K) T5 Z
因为“3C 62 72 3E”是四个单位，所以<br>被“中间割断”的情况有4种：4=4+0=3+1=2+2=1+3
( T8 O: ^& O; P9 H我的解决方法是：
; o) [- |% C" @2 `' M1. 给“3C 62 72 3E”替换为“0D 0A”录制一个宏，比如叫做macro.jsee
8 U1 `8 K6 G3 Y# a1 C6 W8 g" G6 Y2. 运行一次宏，保存文本，在文本头加一个“3C”，也就是一个“<”字符。
I' ^8 b8 G) H) X' G8 A* F1 \! a3. 保存，重新打开，加载为二进制，再运行一次宏。) h7 j! e; L* g: j- O4 o1 t
4. 再重复步骤3两次。9 p, t4 I' F# ]5 {; o; b
% u. D/ M! I# d$ ^4 w4 e
下面我要指出emeditor的几个特点：
6 e, B4 C D# _5 {; b0 b* L1. 按照“行”来处理替换等操作，所以只要不跨行执行速度就快（比如“抽取符合条件的行”），跨行就慢。9 D8 Z: ~1 K) c8 c
2. 但是如果一行非常长，处理起来也会很慢，比如把一个几千万行的文本换行全部取消变成一个一行的文件再执行替换操作。8 Q1 s3 |8 i# j4 E+ x5 Z
3. 综上，emeditor擅长处理每行不是非常长（不达到几十万个字符），但是行数特别多的文本。
4 |/ C& ?& n& W, ~* q6 \7 X2 e! ^4. emeditor有一个快速处理行的转换的功能，就是“保存文件”，每次保存并重新打开为二进制，都会重新排版。/ D( r$ w4 M1 f
|
本帖被以下淘专辑推荐:
- · 图片词典制作|主题: 41, 订阅: 7
- · 工具|主题: 8, 订阅: 5
|
发表于 2017-1-30 10:10:41
! z1 Z/ S( E8 g0 N3 _0 K
发表于 2017-2-10 13:25:23
